지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2021.12
- 수록면
- 1,934 - 1,939 (6page)
- DOI
- 10.5370/KIEE.2021.70.12.1934
이용수
초록· 키워드
오류제보하기
We compare three approaches of structure reduction, pruning, and knowledge distillation for lightning of a deep learning network. Structure reduction eliminates a set of layers of the model, but pruning deletes filters within a layer. Knowledge distillation effectively learns a small student model from a large teacher model using KL Divergence. Therefore, it has a similar effect of reduction of the model. The above three methods for lightning are rarely compared to each other in terms of performance. To compare these approaches for network reduction problem, we investigate the accuracy and flops of the methods on CIFAR10 and CIFAR100 data for ResNet models. A systematic analysis for the fundamental orientations and differences of each method is supplemented.
목차
Abstract
1. 서론
2. 딥러닝 경량화
3. 경량화 기법
4. 실험 및 결과 비교
5. 경량화 기법의 상호 비교 분석
6. 결론
References
참고문헌 (16)
참고문헌 신청
Y. LeCun / 2015 / Deep learning / Nature 521:436~444
A. Krizhevsky / 2012 / Imagenet classification with deep convolutional neural networks / Advances in neural information processing systems :1097~1105
S. Han / 2015 / Deep compression:Compressing deep neural networks with pruning, trained quantization and huffman coding / arXiv preprint arXiv:1510.00149
Z. Wang / 2019 / Pruning blocks for CNN compression and acceleration via online ensemble distillation / IEEE Access 7:175703~175716
H. Li / 2016 / Pruning Filters for Efficient ConvNets / CoRR abs/1608.08710
A. Krizhevsky / 2012 / Imagenet classification with deep convolutional neural networks / Advances in neural information processing systems :1097~1105
S. Han / 2015 / Deep compression:Compressing deep neural networks with pruning, trained quantization and huffman coding / arXiv preprint arXiv:1510.00149
Z. Wang / 2019 / Pruning blocks for CNN compression and acceleration via online ensemble distillation / IEEE Access 7:175703~175716
H. Li / 2016 / Pruning Filters for Efficient ConvNets / CoRR abs/1608.08710
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
CNN에서 비슷한 깊이의 레이어를 묶는 그룹 필터 프루닝 기법
대한전자공학회 학술대회
2021 .06
-
EPI 기반 구조화된 가지치기를 위한 최적 파라미터 분석
제어로봇시스템학회 논문지
2023 .12
-
가중화된 지식 기반 지식 증류
전기학회논문지
2022 .02
-
A Study of Structured Pruning for Hybrid Neural Networks
제어로봇시스템학회 국제학술대회 논문집
2024 .10
-
임베디드 시스템에서의 객체 분류를 위한 인공 신경망 경량화 연구
로봇학회 논문지
2022 .06
-
딥 뉴럴 네트웨크에서 Data Sparsity 향상 방법
대한전자공학회 학술대회
2018 .06
-
Knowledge Distillation via Bridge Network
한국통신학회 학술대회논문집
2019 .06
-
Comparison of accuracy on Cifar-10 datasets according to depth of ResNet network
제어로봇시스템학회 국내학술대회 논문집
2020 .07
-
불순도 기반 딥러닝 CNN 모델 최적 가지치기 레이어 검출 방법
대한전자공학회 학술대회
2022 .06
-
교사 답변 엔트로피 기반 적응적 지식 증류
한국지능시스템학회 논문지
2024 .12
-
Efficient Performance Prediction via Regression for Joint Channel and Weight Pruning
제어로봇시스템학회 국제학술대회 논문집
2024 .10
-
심층 신경망에서의 효율적이고 안정적인 Pruning 기법에 대한 연구
한국통신학회 학술대회논문집
2019 .06
-
심층 신경망에서의 Accuracy 향상을 위한 Filter Pruning 기법에 대한 연구
대한전자공학회 학술대회
2020 .08
-
이질적 지식증류를 활용한 텍스트 분류 방법론
한국컴퓨터정보학회논문지
2022 .10
-
인공신경망 모델 압축을 위한 적응적 양자화 기반 지식 증류 기법
전자공학회논문지
2020 .09
-
Knowledge Distillation을 이용한 식물 영상 복원
대한전자공학회 학술대회
2022 .06
-
Effective Methods of Neural Network Pruning in Processing-In-Memory Architecture
제어로봇시스템학회 국제학술대회 논문집
2024 .10
-
Two-stage Detection with Yolov5 based on Structured Neural Network Pruning
한국재활복지공학회 학술대회 논문집
2021 .11
-
지식 증류 기법을 이용한 EEG 기반 개인인증 모델 경량화
대한전자공학회 학술대회
2022 .06
-
커널 프루닝을 위한 필터 프루닝 기반의 레이어 민감도 측정 기법
대한전자공학회 학술대회
2021 .06
이 논문의 저자 정보
이 논문과 함께 이용한 논문
Octorotor PMSM 의 상호 다중 모델 필터 기반 고장 검출과 진단
정철민
,
박채훈
,
강창묵
제어로봇시스템학회 논문지
2022
.02
지식증류 기법을 사용한 SRGAN 경량화 연구
이여진
,
박한훈
멀티미디어학회논문지
2021
.12
딥 러닝 기반 제조시설 이상영역 검출 및 고도 영향 분석
이아현
,
최다빈
,
이정원
외 1명
대한전기학회 학술대회 논문집
2021
.10
적대적 생성 신경망을 사용한 유기 행동 검출
정광희
,
서기성
전기학회논문지
2021
.09
VGG-13 기반의 경량화된 딥러닝 기법을 이용한 차선 이탈 경고 시스템 구현
강현우
멀티미디어학회논문지
2021
.07
최근 본 자료
댓글(0)
0