지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.51 No.7
- 발행연도
- 2024.7
- 수록면
- 583 - 591 (9page)
- DOI
- 10.5626/JOK.2024.51.7.583
이용수
초록· 키워드
오류제보하기
N:M sparsity pruning은 NVIDIA의 Sparse Tensor Core 기술을 활용하여 심층 신경망을 압축하는 강력한 기법입니다. 하지만 이 기법은 하드웨어에 제한으로 인해 압축률이 고정되고 불필요한 입력 데이터 접근이 늘어나며 불균형한 중요 파라미터의 분포를 해결하지 못한다. 본 논문은 vector sparsity를 먼저 적용한 후 N:M sparsity를 적용하는 Hierarchical N:M(HiNM) sparsity를 제안하고, 이 sparsity를 위해 설계된 2-axis channel permutation (2CP) 기법을 제안한다. 실험 결과, HiNM sparsity은 기존 N:M sparsity보다 2배 높은 압축률에서 latency가 평균적으로 37% 감소하였다.
목차
요약
Abstract
1. 서론
2. 배경 및 관련 연구
3. Hierarchical N:M Sparsity
4. 2-axis Channel Permutation
5. 실험
6. 결론
References
참고문헌 (0)
참고문헌 신청함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
딥 러닝 모델 가속을 위한 입력 값을 고려한 채널 별 프루닝
한국정보과학회 학술발표논문집
2019 .06
-
A Survey on Pruning and Sharing DNN Parameters for Compression and Acceleration
한국정보과학회 학술발표논문집
2019 .12
-
심층 신경망에서의 효율적이고 안정적인 Pruning 기법에 대한 연구
한국통신학회 학술대회논문집
2019 .06
-
딥 뉴럴 네트웨크에서 Data Sparsity 향상 방법
대한전자공학회 학술대회
2018 .06
-
Dynamic Sparse Training을 응용한 점진적 그룹단위 프루닝
한국정보과학회 학술발표논문집
2020 .12
-
Sparse Signal Recovery with Pruning-based Tree search
한국방송미디어공학회 학술발표대회 논문집
2015 .11
-
순환 신경망 압축을 위한 구조화 된 원 샷 프루닝 기법
한국정보과학회 학술발표논문집
2019 .12
-
PGB: Permutation and Grouping for BERT Pruning
Journal of KIISE
2023 .06
-
Analysis of Variance for Fuzzy Data Based on Permutation Method
INTERNATIONAL JOURNAL of FUZZY LOGIC and INTELLIGENT SYSTEMS
2017 .03
-
채널 중요도 기반 네트워크 프루닝 방법
대한전자공학회 학술대회
2021 .06
-
Efficient Performance Prediction via Regression for Joint Channel and Weight Pruning
제어로봇시스템학회 국제학술대회 논문집
2024 .10
-
커널 프루닝을 위한 필터 프루닝 기반의 레이어 민감도 측정 기법
대한전자공학회 학술대회
2021 .06
-
임베디드 시스템에서의 객체 탐지 네트워크 추론 가속을 위한 필터 가지치기 기법 연구
전자공학회논문지
2022 .03
-
Sparse Signal Recovery via a Pruning-based Tree Search
한국방송미디어공학회 학술발표대회 논문집
2015 .11
-
채널 프루닝 기반 모델 전문화를 통한 경량 신경망 추출 기법
한국정보과학회 학술발표논문집
2019 .12
-
심층 신경망에서의 Accuracy 향상을 위한 Filter Pruning 기법에 대한 연구
대한전자공학회 학술대회
2020 .08
-
Vision Transformer의 효율 향상을 위한 Sparse Attention과 Token Pruning의 동시 적용 연구
한국통신학회 학술대회논문집
2025 .02
-
Latency-Aware Pruning of Neural Networks via Structure Search with Integer Programming
제어로봇시스템학회 국제학술대회 논문집
2024 .10
-
A Study of Structured Pruning for Hybrid Neural Networks
제어로봇시스템학회 국제학술대회 논문집
2024 .10
-
뉴로모픽 시스템을 위한 인수분해-프루닝 결합 기반 컨볼루셔널 레이어 압축 기법
전자공학회논문지
2019 .03
이 논문과 함께 이용한 논문
Octave-YOLO: Direct Multi-scale Feature Fusion for Object Detection
신상준
,
신동군
Journal of KIISE
2024
.09
범용 AI 컴파일러의 비공개 NPU 코드생성을 위한 공통 인터페이스 설계 및 검증
이제민
,
권용인
전자공학회논문지
2023
.10
HBM과 기술 동향: AI 및 HPC를 위한 메모리 반도체의 발전
차민규
한국통신학회 학술대회논문집
2024
.11
SK하이닉스의 동태적 경쟁우위에 관한 연구: HBM 사업을 중심으로
정현경
,
김장훈
비즈니스융복합연구
2024
.10
AI가 바꾸는 세상 ‘HBM’으로 반도체 불황 넘는다
이지용
ANDA
2023
.09
최근 본 자료
댓글(0)
0