지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2020.12
- 수록면
- 60 - 69 (10page)
- DOI
- 10.5573/ieie.2020.57.12.60
이용수
초록· 키워드
오류제보하기
최근 컴퓨터 비전 분야에서 CNN을 이용한 연구가 우수한 성능을 보여줌에 따라 보편적인 연구방법으로 자리 잡았다. 하지만 높은 성능을 얻기 위해서는 많은 수의 파라미터와 높은 연산 복잡도를 갖는 CNN 모델이 필요하다. 이러한 모델은 하드웨어 자원사용량에 제한이 있는 환경에서는 적합하지 않다. 따라서 CNN 모델의 구조를 유지한 채 정밀도를 낮추어 연산 복잡도 및 메모리사용량을 최적화할 수 있는 양자화 연구가 활발히 진행되고 있다. 하지만 대부분의 양자화 기법은 성능을 유지하기 위해 부동 소수점 스케일 인자를 사용하는 등 하드웨어 친화적이지 않은 방법들이 사용되었다. 따라서 본 논문에서는 하드웨어 친화적인 양자화 기법을 적용하여 양자화 인식 훈련을 수행하였고 양자화 인식 훈련으로 학습된 부동 소수점 파라미터를 정수 파라미터로 변환하였다. 그리고 오직 정수 연산만을 사용하는 기본 연산 블록들을 CNN으로 구성 및 계층 별 정밀도를 검증하는 기법을 제안한다. 8-bit로 양자화된 파라미터를 이용하여 정수 연산만을 사용하는 CNN의 성능을 CIFAR-10 데이터 세트로 평가한 결과, 부동 소수점 대비 파라미터 개수는 1/4로 줄었지만 정확도 하락은 0.71% 이하인 것을 확인하였다. 또한 기존의 양자화 인식 추론 기법과 비교하였을 때 추가적인 부동 소수점 연산기 대신 정수 연산기만을 사용하여 연산 복잡도를 낮출 수 있었으며 정확도 하락은 0.13% 이하인 것을 확인하였다.
목차
요약
Abstract
Ⅰ. 서론
Ⅱ. 양자화 관련 연구
Ⅲ. 연구 방법
Ⅳ. 실험
Ⅴ. 결론 및 향후 연구 방향
REFERENCES
참고문헌 (18)
참고문헌 신청
S. Han / 2015 / Deep compression : Compressing deep neural networks with pruning, trained quantization and huffman coding / arXiv preprint arXiv:1510.00149
K. B. Lee / 2019 / Unaligned Pruning for Fast DNN Inference on Mobile Devices / Korea Computer Congress :1412~1414
G. Hinton / 2015 / Distilling the knowledge in a neural network / arXiv preprint arXiv:1503.02531
R. Zhao / 2019 / Improving neural network quantization without retraining using outlier channel splitting / arXiv preprint arXiv:1901.09504
M. Nagel / 2019 / Data-free quantization through weight equalization and bias correction / Proceedings of the IEEE International Conference on Computer Vision :1325~1334
K. B. Lee / 2019 / Unaligned Pruning for Fast DNN Inference on Mobile Devices / Korea Computer Congress :1412~1414
G. Hinton / 2015 / Distilling the knowledge in a neural network / arXiv preprint arXiv:1503.02531
R. Zhao / 2019 / Improving neural network quantization without retraining using outlier channel splitting / arXiv preprint arXiv:1901.09504
M. Nagel / 2019 / Data-free quantization through weight equalization and bias correction / Proceedings of the IEEE International Conference on Computer Vision :1325~1334
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
객체 탐지 네트워크를 위한 정수 연산만을 사용한 하드웨어 친화적인 양자화에 대한 연구
전자공학회논문지
2025 .04
-
하드웨어 구현에 효율적인 Power-of-Two 균일 양자화 기법 연구
대한전자공학회 학술대회
2021 .06
-
음의 값을 가지는 활성화 함수를 포함하는 CNN을 위한 하드웨어 친화적인 로그 양자화 기법
대한전자공학회 학술대회
2023 .06
-
음의 임계값을 이용한 딥뉴럴네트워크의 하드웨어 친화적 양자화
대한전자공학회 학술대회
2021 .06
-
이미지 분류에서 양자화된 딥뉴럴 네트워크를 위한 콘볼루션 계층 하드웨어 구현
전기학회논문지
2025 .04
-
Mixed precision과 적응적 bias을 활용한 8-bit 부동소수점 양자화
대한전자공학회 학술대회
2021 .06
-
Batch Normalization을 위한 향상된 Hardware 친화적 Quantization 기법
대한전자공학회 학술대회
2020 .08
-
Hybrid-Vision Transformer의 정수 양자화 성능 분석
대한전자공학회 학술대회
2023 .06
-
임베디드 시스템에서의 기계학습을 위한 양자화 학습 방정식에 관한 연구
대한전자공학회 학술대회
2019 .11
-
DNN 계층별 출력 뉴런 수에 기반한 고속 양자화 기법
대한전자공학회 학술대회
2024 .11
-
AST 모델에 대한 정수 양자화 기법 적용 및 성능 분석
한국정보과학회 학술발표논문집
2024 .12
-
Low-Precision Posit과 Floating Point Arithmetic의 정밀도 및 하드웨어 복잡도 분석
대한전자공학회 학술대회
2022 .06
-
소프트웨어 기반 채널 코딩을 위한 Integer 부호의 소개 및 성능 분석
한국통신학회 학술대회논문집
2024 .06
-
하드웨어 친화적인 CNN 기반 객체 분할 모델 구현을 위한 배치 정규화 기법
대한전자공학회 학술대회
2023 .06
-
경량 딥러닝 모델의 초저정밀도 양자화를 위한 학습 방식의 개선
대한전자공학회 학술대회
2020 .11
-
임베디드 시스템에서의 객체 탐지 네트워크 양자화
대한전자공학회 학술대회
2023 .06
-
감소 알고리즘을 이용한 큰 정수의 모듈러 곱셈 하드웨어의 최적화
대한전자공학회 학술대회
2022 .06
-
Nonlinear optimization algorithm using monotonically increasing quantization resolution
[ETRI] ETRI Journal
2023 .02
-
비디오 인코더를 통한 딥러닝 모델의 정수 가중치 압축
방송공학회논문지
2021 .11
-
CNN 모델을 이용한 위해 식품 알림 애플리케이션의 개발
멀티미디어학회논문지
2022 .03
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2021-569-001451103