지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2020.9
- 수록면
- 37 - 43 (7page)
- DOI
- 10.5573/ieie.2020.57.9.37
이용수
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
심층 신경망(Deep neural networks, DNNs)은 이미지 분류 및 컴퓨터 비전 등 다양한 응용 분야에서 활용되고 있다. 하지만 신경망의 심도 및 복잡성이 증가함에 따라 자원이 제한된 임베디드 시스템에서 심층 신경망 구현의 한계가 발생하고 있으며 이를 극복하기 위한 경량화 연구가 진행되고 있다. 이를 위해 신경망 파라미터의 정밀도를 감소시켜 모델을 압축하는 양자화(Quantization) 기법과 대규모 네트워크의 학습 데이터를 이용하여 소규모 네트워크를 훈련시키는 지식 증류(Knowledge distillation, KD) 기법이 등장하였다. 본 논문에서는 신경망 모델의 계산 복잡도와 스토리지 사용량을 최적화하기 위해 지식 증류에 양자화 기법을 접목시켜 데이터마다 정밀도를 개별적으로 처리하는 적응적 양자화 기반 지식 증류 기법을 제안한다. CIFAR10과 CIFAR100 데이터 셋에 대해 ResNet 모델로 실험한 결과, 제안하는 기법은 양자화 기법 대비 정확도가 증가했으며, 경량화를 진행하지 않은 모델 대비 신경망 모델 크기가 평균 69.29% 감소하였다.
목차
요약
Abstract
Ⅰ. 서론
Ⅱ. 관련 연구
Ⅲ. 제안하는 적응적 양자화 기반의 지식 증류
Ⅳ. 실험
Ⅴ. 결론
REFERENCES
참고문헌 (20)
참고문헌 신청
Z. Liu / 2017 / Learning efficient convolutional networks through network sliming / Proceedings of the IEEE International Conference on Computer Vision :2736~2744
S. Han / 2016 / Deep compression: Compressing deep neural networks with pruning, trained quantization and Huffman coding / International Conference on Learning Representations
K. Ullrich / 2017 / Soft weight-sharing for neural network compression / International Conference on Learning Representations
A. Zhou / 2017 / Incremental network quantization:Towards lossless CNNs with low-precision weights / International Conference on Learning Representation
R. Banner / 2018 / Advances in Neural Information Processing Systems
S. Han / 2016 / Deep compression: Compressing deep neural networks with pruning, trained quantization and Huffman coding / International Conference on Learning Representations
K. Ullrich / 2017 / Soft weight-sharing for neural network compression / International Conference on Learning Representations
A. Zhou / 2017 / Incremental network quantization:Towards lossless CNNs with low-precision weights / International Conference on Learning Representation
R. Banner / 2018 / Advances in Neural Information Processing Systems
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
임베디드 시스템에서의 객체 분류를 위한 인공 신경망 경량화 연구
로봇학회 논문지
2022 .06
-
학습 데이터 부족 상황에서의 회귀 인공신경망 지식 증류 기법
한국정보과학회 학술발표논문집
2022 .06
-
딥러닝 모델의 압축 방법에 따른 엣지 장치에서의 성능 평가 연구
전자공학회논문지
2021 .06
-
교사 답변 엔트로피 기반 적응적 지식 증류
한국지능시스템학회 논문지
2024 .12
-
규제화된 지식 증류기법 (Knowledge Distillation)을 이용한 네트워크 압축
한국정보과학회 학술발표논문집
2019 .12
-
효율적인 심층신경망 구조를 위한 새로운 가중치 예측 기반 양자화 방법
한국정보과학회 학술발표논문집
2019 .06
-
심층신경망의 Quantization 학습에 대한 시간과 정확도의 Trade-Off 분석 및 최소 학습량 도출
한국정보과학회 학술발표논문집
2020 .12
-
데이터가 없는 상황에서 전문화된 신경망 추출을 위한 조건부 지식 증류 기법
한국정보과학회 학술발표논문집
2020 .07
-
지식 증류법을 이용한 스파이킹 뉴럴 네트워크의 성능 분석
대한전자공학회 학술대회
2020 .08
-
이질적 지식증류를 활용한 텍스트 분류 방법론
한국컴퓨터정보학회논문지
2022 .10
-
심층신경망 양자화 시뮬레이터를 위한 교차 추론
정보 및 제어 논문집
2020 .10
-
양자화를 이용한 뉴럴 네트워크의 점진적 압축 기법
한국정보과학회 학술발표논문집
2020 .07
-
대조 학습 기반 자가증류를 이용한 단일 영상 초해상화 모델 경량화 기법
방송공학회논문지
2023 .11
-
생성 언어 모델 Ternary Weight 양자화 인식 훈련을 위한 지식 증류 기법의 이해
대한전자공학회 학술대회
2023 .06
-
DNN 계층별 출력 뉴런 수에 기반한 고속 양자화 기법
대한전자공학회 학술대회
2024 .11
-
신경망 양자화를 이용한 딥러닝 모델의 추론 수행에서의 메모리 효율성 개선
한국정보과학회 학술발표논문집
2020 .07
-
지식의 분포 특성을 활용한 지식 증류
정보 및 제어 논문집
2021 .04
-
신경망 기반 복호기의 매개변수 양자화에 따른 성능 분석
한국통신학회 학술대회논문집
2023 .02
-
서로 다른 신경망의 지식을 하나의 신경망으로 전수하는 기법에 관한 연구
한국통신학회 학술대회논문집
2020 .02
-
자가 지식 증류 기법을 적용한 객체 검출 기법의 성능 분석
한국방송미디어공학회 학술발표대회 논문집
2022 .11
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2020-569-001292793