지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers 정보과학회 컴퓨팅의 실제 논문지 정보과학회 컴퓨팅의 실제 논문지 제28권 제3호
- 발행연도
- 2022.3
- 수록면
- 139 - 145 (7page)
- DOI
- 10.5626/KTCP.2022.28.3.139
이용수
초록· 키워드
오류제보하기
최근 딥 러닝의 활용 분야가 넓어지는 추세이며, 많은 파라미터들을 가지고 있는 Large-Scale 딥 러닝 모델들이 좋은 성능을 보이는 경향이 있다. 그리고 크기가 큰 모델을 이용한 딥 러닝 추론은 필연적으로 많은 자원과 긴 시간을 요구하므로 딥 러닝 모델의 효율적인 활용을 위해서는 추론 시간의 단축이 필수적으로 요구된다. 본 논문에서는 딥 러닝 추론 과정에서 활성화 함수인 Rectified Linear Unit 과 행렬 곱을 융합하고, 두 연산과정에서 계산할 출력 값의 부호를 미리 예측하여 계산의 양을 줄이는 네 가지 방법을 제안하며, 네 가지 계산 생략 방법의 비교를 통해 정확도를 거의 해치지 않는 선에서 계산의 양을 줄여 추론 시간을 절약하는 최적의 방안을 도출한다.
목차
요약
Abstract
1. 서론
2. 딥 러닝 모델 은닉 층 출력 값 분포와 ReLU
3. 행렬 곱과 ReLU의 연산 출력 값의 부호 예측
4. 실험
5. 결론 및 향후 연구
References
참고문헌 (11)
참고문헌 신청
T. Brown, B. Mann, N. Ryder, M. Subbiah, J. D. Kaplan, P. Dhariwal, ... and D. Amodei, Language models are few-shot learners, Advances in neural information processing systems, 33, 1877-1901, 2020.
V. Nair and G. E. Hinton, Rectified linear units improve restricted boltzmann machines, Icml. Jan. 2020.
K. He, X, Zhang, S. Ren, and J. Sun, Deep residual learning for image recognition, Proc. of the IEEE conference on computer vision and pattern recognition, pp. 770-778, 2016.
J. D. M. W. C. Kenton, and L. K. Toutanova, Bert: Pre-training of deep bidirectional transformers for language understanding, Proc. of NAACL-HLT, pp. 4171-4186, May 2019.
L. Deng, The mnist database of handwritten digit images for machine learning research [best of the web], IEEE signal processing magazine, Vol. 29, No. 6, pp. 141-142, 2012.
V. Nair and G. E. Hinton, Rectified linear units improve restricted boltzmann machines, Icml. Jan. 2020.
K. He, X, Zhang, S. Ren, and J. Sun, Deep residual learning for image recognition, Proc. of the IEEE conference on computer vision and pattern recognition, pp. 770-778, 2016.
J. D. M. W. C. Kenton, and L. K. Toutanova, Bert: Pre-training of deep bidirectional transformers for language understanding, Proc. of NAACL-HLT, pp. 4171-4186, May 2019.
L. Deng, The mnist database of handwritten digit images for machine learning research [best of the web], IEEE signal processing magazine, Vol. 29, No. 6, pp. 141-142, 2012.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
ReLU가 합성된 행렬 곱 연산의 부분 생략을 통한 딥 러닝 모델 추론 시간 개선
한국정보과학회 학술발표논문집
2020 .12
-
다양한 기기를 지원하기 위한 OpenCL 기반의 딥 러닝 추론 프레임워크
정보과학회 컴퓨팅의 실제 논문지
2022 .12
-
회귀분석과 딥러닝의 예측 정확성에 대한 비교 그리고 딥러닝 모델 최적화를 위한 기법들의 중요성에 대한 실증적 분석
한국전자통신학회 논문지
2023 .04
-
딥러닝
소음·진동
2017 .05
-
모바일 플랫폼을 위한 딥 러닝 추론 프레임워크들의 성능 분석
한국정보과학회 학술발표논문집
2019 .12
-
딥러닝을 통한 유전자 온톨로지 거리의 추론
한국정보과학회 학술발표논문집
2017 .12
-
임베디드 시스템용 딥러닝 추론엔진 구조
한국통신학회 학술대회논문집
2019 .06
-
다양한 딥러닝 알고리즘과 활용
정보과학회지
2015 .08
-
로봇의 지각을 위한 딥러닝 추론 기술
기계저널
2019 .05
-
분산 딥러닝 환경에서의 성능 개선을 위한 연구 분석
한국정보과학회 학술발표논문집
2021 .12
-
효율적 딥 러닝을 위한 이미지 전처리 알고리즘 분석
한국정보통신학회 종합학술대회 논문집
2020 .07
-
가상 데이터를 활용한 딥러닝 추론 성능 향상 방안 연구
Proceedings of KIIT Conference
2022 .06
-
딥러닝과 최적설계
한국지능정보시스템학회 학술대회논문집
2019 .06
-
신경망 양자화를 이용한 딥러닝 모델의 추론 수행에서의 메모리 효율성 개선
한국정보과학회 학술발표논문집
2020 .07
-
Inference Performance Analysis on Imperative Deep Learning Frameworks
한국정보과학회 학술발표논문집
2020 .07
-
딥러닝의 이해와 그 적용 사례
유공압건설기계학회 학술대회논문집
2024 .10
-
클러스터 환경에서 딥러닝 학습 및 추론을 위한 작업 배포 관리 시스템
한국정보과학회 학술발표논문집
2020 .07
-
다양한 기기를 지원하기 위한 OpenCL 기반의 딥 러닝 추론 프레임워크
한국정보과학회 학술발표논문집
2021 .12
-
딥 러닝 프레임워크의 비교 및 분석
한국전자통신학회 논문지
2017 .01
-
딥러닝 추론 설명을 위한 입력 데이터 이산화 방법
한국정보과학회 학술발표논문집
2021 .06
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0