지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2022.7
- 수록면
- 538 - 547 (10page)
이용수
초록· 키워드
오류제보하기
최근 소개된 트랜스포머(Transformer)를 이용한 이미지 분류 방법들은 기존 합성곱 신경망 기반 방법 대비 괄목할 만한 성능 향상을 보여주고 있다. 지역적 특성을 효과적으로 고려하기 위해 이미지 영역을 복수의 윈도우 영역으로 나누어 트랜스포머를 적용하는 방법에 대한 연구가 활발히 진행되어 왔으나, 윈도우 간 관계 및 중요도에 대한 학습은 여전히 부족한 상황이다. 본 논문에서는 이러한 문제점을 극복하기 위해 각 윈도우의 중요도를 학습에 반영할 수 있는 트랜스포머 구조를 제안한다. 제안하는 방법은 각 윈도우 영역에 대한 자기주의(Self-attention) 연산을 기반으로 압축과 완전 연결 계층(Fully Connected Layer)을 통해 각 윈도우 영역의 중요도를 계산한다. 계산된 중요도는 윈도우 영역들 간의 관계를 학습한 가중치로써 각 윈도우 영역에 곱해져 특징 값을 재조정 한다. 실험 결과를 통해 제안하는 방법이 기존 트랜스포머 기반 방법의 성능을 효과적으로 향상 시킬 수 있음을 보인다.
목차
요약
Abstract
Ⅰ. 서론
Ⅱ. 제안하는 방법
Ⅲ. 실험 결과 및 분석
Ⅳ. 결론
참고문헌 (References)
참고문헌 (12)
참고문헌 신청
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin, “Attention is all you need,” in Proc. Conf. Neural Inf. Process. Syst., pp. 5998-6008, Dec. 2017. doi: https://doi.org/10.48550/arXiv.1706.03762
A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, J. Uszkoreit, and N. Houlsby, “An image is worth 16x16 words: Transformers for image recognition at scale,” in Proc. Int. Conf. Learn. Represent., May 2021. doi: https://doi.org/10.48550/arXiv.2010.11929
Z. Liu, Y. Lin, Y. Cao, H. Hu, Y. Wei, Z. Zhang, S. Lin, and B. Guo, "Swin transformer: Hierarchical vision transformer using shifted windows," in Proc. IEEE Int. Conf. Comput. Vis., pp. 10012-10022, Oct. 2021. doi: https://doi.org/10.1109/iccv48922.2021.00986
X. Dong, J. Bao, D. Chen, W. Zhang, N. Yu, L. Yuan, D. Chen, and B. Guo, "CSWin transformer: A general vision transformer backbone with cross-shaped windows," 2021, arXiv:2107.00652. [Online]. Available: https://arxiv.org/abs/2107.00652 doi: https://doi.org/10.48550/arXiv.2107.00652
J. Yang, C. Li, P. Zhang, X. Dai, B. Xiao, L. Yuan, and J. Gao, “Focal self-attention for local-global interactions in vision transformers,” 2021, arXiv:2107.00641. [Online]. Available: https://arxiv.org/abs/2107.00641 doi: https://doi.org/10.48550/arXiv.2107.00641
A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, J. Uszkoreit, and N. Houlsby, “An image is worth 16x16 words: Transformers for image recognition at scale,” in Proc. Int. Conf. Learn. Represent., May 2021. doi: https://doi.org/10.48550/arXiv.2010.11929
Z. Liu, Y. Lin, Y. Cao, H. Hu, Y. Wei, Z. Zhang, S. Lin, and B. Guo, "Swin transformer: Hierarchical vision transformer using shifted windows," in Proc. IEEE Int. Conf. Comput. Vis., pp. 10012-10022, Oct. 2021. doi: https://doi.org/10.1109/iccv48922.2021.00986
X. Dong, J. Bao, D. Chen, W. Zhang, N. Yu, L. Yuan, D. Chen, and B. Guo, "CSWin transformer: A general vision transformer backbone with cross-shaped windows," 2021, arXiv:2107.00652. [Online]. Available: https://arxiv.org/abs/2107.00652 doi: https://doi.org/10.48550/arXiv.2107.00652
J. Yang, C. Li, P. Zhang, X. Dai, B. Xiao, L. Yuan, and J. Gao, “Focal self-attention for local-global interactions in vision transformers,” 2021, arXiv:2107.00641. [Online]. Available: https://arxiv.org/abs/2107.00641 doi: https://doi.org/10.48550/arXiv.2107.00641
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Analyzing the Influence of Window Overlap and Size in Anomaly Transformer
한국정보과학회 학술발표논문집
2024 .06
-
유한기억구조 필터를 위한 윈도우 초기 상태값 계산
한국통신학회 학술대회논문집
2021 .06
-
차량 윈도우 조건에 따른 연비절감 효과에 관한 연구
한국자동차공학회 춘계학술대회
2018 .06
-
Towards Multiple Window Framework for Pattern Analysis
한국정보과학회 학술발표논문집
2023 .06
-
스마트윈도우의 제어 변수 최적화 기법
대한설비공학회 학술발표대회논문집
2017 .11
-
스마트 윈도우의 기상 조건에 따른 운전 최적화 연구
대한건축학회 학술발표대회 논문집
2017 .10
-
비전 트랜스포머 성능향상을 위한 이중 구조 셀프 어텐션
전기전자학회논문지
2023 .09
-
비전 트랜스포머를 활용한 이미지 분류 시스템 설계
한국정보통신학회 여성 ICT 학술대회 논문집
2021 .08
-
자동차 프런트 도어 윈도우의 소음 발생 메커니즘 규명
한국소음진동공학회 학술대회논문집
2020 .06
-
Effect of window organization in supervised learning based fall detection
한국정보과학회 학술발표논문집
2018 .06
-
아두이노 기반 지능형 스마트 윈도우 시스템
한국정보과학회 학술발표논문집
2017 .06
-
슬라이딩 윈도우 페인을 이용한 데이터 스트림 클러스터링
한국정보기술학회논문지
2022 .01
-
이동 윈도우 상태추정 필터의 다양한 표현과 특성 비교
한국통신학회 학술대회논문집
2022 .11
-
흉부 CT 영상에서 듀얼 윈도우 영상을 활용한 트랜스포머 기반 폐암 분할
컴퓨터그래픽스학회논문지
2024 .12
-
스마트 윈도우 기술 동향 및 사례
건축환경설비
2020 .01
-
자동차 윈도우 레귤레이터의 풀리 어드저스트 구조
한국자동차공학회 춘계학술대회
2019 .05
-
액정 스마트윈도우의 신뢰성에 대한 연구
전기전자재료학회논문지
2020 .01
-
채널 길이의 변화에 따른 단일 게이트 피드백 전계효과 트랜지스터의 메모리 윈도우 특성
전기전자학회논문지
2017 .09
-
스마트윈도우 적용시 방위별 건물에너지 성능 분석
대한설비공학회 학술발표대회논문집
2018 .06
-
Shifted Window 분할 기법을 통한 Hierarchical Attention 기반 Vision Transformer 모델의 정확도 개선
한국정보과학회 학술발표논문집
2024 .12
이 논문의 저자 정보
최근 본 자료
댓글(0)
0