지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2021.1
- 수록면
- 27 - 35 (9page)
이용수
초록· 키워드
오류제보하기
본 논문에서는 인공 신경망이 과거 학습 데이터의 정보를 망각하는 치명적 망각(Catastrophic Forgetting) 현상을 개선하기 위해, 학습할 데이터에 따라서 가변적으로 정규화 강도를 조절하는 방법을 제안한다. 이를 위하여 과거에 학습된 데이터와 현재 학습할 데이터들의 관계를 측정하는 방법을 사용하였다. 성능 평가를 위해 MNIST, EMNIST 데이터를 사용하였다. 3가지 시나리오에서 실험한 결과, 같은 도메인을 갖는 데이터의 경우, 이전 태스크의 정확도가 0.1~3%, 다른 도메인을 갖는 데이터의 경우 이전 태스크(Task)의 정확도가 10~13% 향상 시킬 수 있었다. 이는 본 논문의 방법으로, 도메인이 다른 경우, 망각률이 줄어든 것을 의미한다. 다양한 도메인을 가진 데이터를 연속적으로 학습할 경우, 이전 태스크들의 정확도가 모두 50% 이상을 달성하였고 평균 정확도가 약 7% 향상되었다.
목차
요약
ABSTRACT
Ⅰ. 서론
Ⅱ. 본론
Ⅲ. 실험
Ⅳ. 결론
REFERENCES
참고문헌 (13)
참고문헌 신청
R. M. French, “Catastrophic forgetting in connectionist networks,” Trends in cognitive sciences, vol. 3, no. 4, pp. 128-135, Apr. 1999.
I. J. Goodfellow, M. Mirza, D. Xiao, A. Courville, and Y. Bengio, “An empirical investigation of catastrophic forgetting in gradient-based neural networks,” arXiv preprint arXiv: 1312.6211, 2013.
G. I. Parisi, R. Kemker, J. L.Part, C. Kanan, and S. Wermter, “Continual lifelong learning with neural networks: A review,” Neural Networks, 2019.
J. Kirkpatrick, R. Pascanu, N. Rabinowitz, J. Veness, G. Desjardins, A. A. Rusu, K. Milan, J. Quan, T. Ramalho, A. Grabska-Barwinska, D. Hassabis, C. Clopath, D. Kumaran, and R. Hadsell, “Overcoming catastrophic forgetting in neural networks,” Proceedings of the national academy of sciences, vol. 114, no. 13, pp. 3521-3526, 2017.
Z. Li and D. Hoiem, “Learning without forgetting,” IEEE transactions on pattern analysis and machine intelligence, vol. 40, no. 12, pp. 2935-2947, 2017.
I. J. Goodfellow, M. Mirza, D. Xiao, A. Courville, and Y. Bengio, “An empirical investigation of catastrophic forgetting in gradient-based neural networks,” arXiv preprint arXiv: 1312.6211, 2013.
G. I. Parisi, R. Kemker, J. L.Part, C. Kanan, and S. Wermter, “Continual lifelong learning with neural networks: A review,” Neural Networks, 2019.
J. Kirkpatrick, R. Pascanu, N. Rabinowitz, J. Veness, G. Desjardins, A. A. Rusu, K. Milan, J. Quan, T. Ramalho, A. Grabska-Barwinska, D. Hassabis, C. Clopath, D. Kumaran, and R. Hadsell, “Overcoming catastrophic forgetting in neural networks,” Proceedings of the national academy of sciences, vol. 114, no. 13, pp. 3521-3526, 2017.
Z. Li and D. Hoiem, “Learning without forgetting,” IEEE transactions on pattern analysis and machine intelligence, vol. 40, no. 12, pp. 2935-2947, 2017.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
인공 신경망의 Catastrophic forgetting 현상 극복을 위한 순차적 반복 학습에 대한 연구
JOURNAL OF PLATFORM TECHNOLOGY
2018 .12
-
데이터 유사도를 이용한 지속적 학습방법
전기전자학회논문지
2020 .06
-
다양한 학습 조건이 GPT-2-Small 기반 한영 이중 언어 모델 성능에 미치는 영향 평가
한국컴퓨터정보학회논문지
2024 .09
-
LwF에서 망각현상 개선을 위한 적응적 가중치 제어 방법
한국정보통신학회논문지
2022 .01
-
베이지안 기반의 정규화를 이용한 파괴적 망각 극복
대한전자공학회 학술대회
2019 .06
-
로봇 매니퓰레이터의 다양한 작업 확장성을 위한 지속적 강화학습 기법
대한전자공학회 학술대회
2024 .06
-
Improvement of Catastrophic Forgetting Phenomenon by Convolution Layer Separation
INTERNATIONAL CONFERENCE ON FUTURE INFORMATION & COMMUNICATION ENGINEERING
2021 .02
-
태스크별 아답터 레이어를 이용한 멀티모달 감정 인식 모델의 파괴적 망각 방지
한국정보과학회 학술발표논문집
2023 .06
-
LwF 환경에서 손실값 제어에 의한 망각현상 완화
한국정보과학회 학술발표논문집
2021 .12
-
[우수논문] Minimizing Knowledge Forgetting for Face Recognition through Joint Learning
한국정보과학회 학술발표논문집
2022 .12
-
가변 망각인자를 사용한 커널 RLS 알고리즘
한국통신학회논문지
2015 .09
-
데이터와 인공신경망 능력 계산
한국정보통신학회논문지
2022 .01
-
어텐션 기반의 지속학습에서 정규화값 제어 방법
전기전자학회논문지
2022 .03
-
다차원 신경망 및 의사결정 신경망의 딥러닝 학습을 통한 영상인식
한국지능시스템학회 논문지
2018 .02
-
인공신경망을 이용한 V2V 네트워크의 측위
한국통신학회 학술대회논문집
2019 .01
-
지속적 학습 환경에서 효율적 경로 선택
전기전자학회논문지
2021 .09
-
인공 신경망(Artificial neural network)을 이용한 대장암 재발 예측
대한전자공학회 학술대회
2017 .11
-
가변 망각 인자를 사용한 RLS기반의 고조파 부하 모델 추정
대한전기학회 학술대회 논문집
2019 .04
-
인공신경망을 이용한 반응기구 적분기 대체 연구
KOSCO SYMPOSIUM 논문집
2022 .11
-
베이지안 추론과 정규화를 이용한 회귀 머신러닝
한국지능시스템학회 논문지
2019 .10
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2021-004-001462462