지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학위논문
- 저자정보
- 지도교수
- 최동완
- 발행연도
- 2021
- 저작권
- 인하대학교 논문은 저작권에 의해 보호받습니다.
이용수1
이 논문의 연구 히스토리 (3)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
딥러닝 기술의 큰 발전에도 불구하고 실질적으로 서비스 가능한 모델의 학습과 전달 과정은 여전히 많은 시간이 소요된다. 또한, 학습이 종료된 모델은 수많은 태스크를 수행하기 위해 크기가 상당히 큰 경향이 있다. 따라서 임베디드 기기와 같이 자원이 제약된 환경에서 사용되기 위해서는 추가적인 모델 압축 단계를 거쳐야 한다. 하지만 모바일 사용자가 필요로 하는 머신러닝 태스크는 수많은 태스크 중 일부에 불과한 경우가 많다. 따라서 본 논문에서는 추가적인 학습과정 없이 사용자가 필요로 하는 태스크를 수행하는 경량화 모델을 즉각적으로 생성하는 프레임워크인 Pool of Experts (PoE)를 제안한다. 이와 같은 실시간 모델 쿼리 서비스를 위해 PoE는 수많은 태스크를 수행하도록 사전 학습된 모델로부터 가장 작은 단위의 태스크들에 대한 각각의 전문가 컴포넌트들을 추출하여 풀(pool)을 형성하고 사용자가 요청한 태스크를 위해 필요한 전문가 컴포넌트들을 추가적인 학습 없이 병합하여 사용자에게 전달한다. 다양한 실험을 통해 PoE는 높은 정확도의 경량화 모델을 실시간으로 생성할 수 있으며 비교 군들은 유사한 정확도를 달성하기 위해 수분이 걸리는 것을 확인하였다.
목차
Chapter 1 Introduction 1Chapter 2 Related Work 62.1 Knowledge Distillation 62.2 Model Specialization 72.3 Model Unification 7Chapter 3 Probelm Definition 9Chapter 4 Realtime Querying Specialized Knowledge 114.1 Preprocessing Phase: Knowledge Extraction and Decomposition 114.2 Service Phase: Train-Free Knowledge Consolidation 15Chapter 5 Experimental Analysis 185.1 Evaluation Setting 195.2 Experiments on Model Specialization 205.3 Experiments on Model Consolidation 24Chapter 6 Conclusion 29Bibliography 30
최근 본 자료
댓글(0)
0