지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.48 No.10
- 발행연도
- 2021.10
- 수록면
- 1,122 - 1,131 (10page)
- DOI
- 10.5626/JOK.2021.48.10.1122
이용수
초록· 키워드
오류제보하기
감성 분석은 텍스트로부터 주관적인 의견 및 성향을 분석하고, 감정 탐지는 ‘행복’, ‘슬픔’과 같이 텍스트에서 나타나는 감정을 검출하는 연구다. 멀티 모달 데이터는 텍스트뿐만 아니라 이미지, 음성 데이터가 함께 나타나는 것을 의미한다. 관련 선행 연구에서 순환 신경망 모형 혹은 교차 트랜스포머를 사용한다. 하지만 순환 신경망 모형은 장기 의존성 문제를 가지며, 교차 트랜스포머는 모달리티별 특성을 반영하지 못하는 문제점이 있다. 이를 해결하기 위해 본 연구에서는 멀티 모달 데이터가 하나의 네트워크로 학습되는 단일 입출력 트랜스포머 기반 모형 SMERT를 제안한다. SMERT는 모달리티 결합 표현형을 얻어 이를 감성 분석 및 감정 탐지에 활용한다. 또한, BERT의 훈련 태스크를 멀티 모달 데이터에 활용하기 위해 개량하여 사용한다. 제안하는 모델의 검증을 위해 CMU-MOSEI 데이터셋과 여러 평가 지표를 이용하고, 모달리티 조합별 비교실험과 예시를 통해 모델의 우수성을 검증하였다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. 문제 정의
4. 모델 구조
5. 실험 세부사항
6. 실험 결과 및 토의
7. 결론
References
참고문헌 (25)
참고문헌 신청
A. Shathik and K.P. Karani, "A Literature Review on Application of Sentiment Analysis Using Machine Learning Techniques," International Journal of Applied Engineering and Management Letters (IJARML), Vol. 4, No. 2, pp. 41-77, Aug. 2020.
A. Zadeh, M. Chen, S. Poria, E. Cambria, and L.P. Morency, "Tensor fusion network for multimodal sentiment analysis," arXiv preprint arXiv:1707.07250, 2017.
A. Kumar and J. Vepa, "Gated Mechanism for Attention Based Multimodal Sentiment Analysis," ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), IEEE, pp. 4477-4481, Feb. 2020.
A. Shenoy and A. Sardana, "Multilogue-net: A context aware rnn for multi-modal emotion detection and sentiment analysis in conversation," arXiv preprint arXiv:2002.08267, 2020.
H. Pham, P.P Liang, T. Manzini, L.P Morency, and B. Póczos, "Found in translation: Learning robust joint representations by cyclic translations between modalities," Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 1, pp. 6892-6899, Jul. 2019.
A. Zadeh, M. Chen, S. Poria, E. Cambria, and L.P. Morency, "Tensor fusion network for multimodal sentiment analysis," arXiv preprint arXiv:1707.07250, 2017.
A. Kumar and J. Vepa, "Gated Mechanism for Attention Based Multimodal Sentiment Analysis," ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), IEEE, pp. 4477-4481, Feb. 2020.
A. Shenoy and A. Sardana, "Multilogue-net: A context aware rnn for multi-modal emotion detection and sentiment analysis in conversation," arXiv preprint arXiv:2002.08267, 2020.
H. Pham, P.P Liang, T. Manzini, L.P Morency, and B. Póczos, "Found in translation: Learning robust joint representations by cyclic translations between modalities," Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 33, No. 1, pp. 6892-6899, Jul. 2019.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
A Survey of Transformer-based Multimodal Models
한국정보과학회 학술발표논문집
2022 .06
-
음성 및 텍스트 데이터를 이용한 멀티모달 감정 인식 모델 개발
한국정보과학회 학술발표논문집
2024 .06
-
멀티모달 데이터를 활용한 특징 기반 감정 인식 모델
한국정보과학회 학술발표논문집
2023 .06
-
얼굴 영상과 다차원 감정 기반의 텍스트를 이용한 멀티모달 감정인식 시스템
한국정보기술학회논문지
2023 .05
-
음성-텍스트 결합 감정인식을 위한 자가 지도학습 모델로부터의 특징 추출과 트랜스포머 기반 멀티모달 표현 학습
한국정보과학회 학술발표논문집
2022 .12
-
멀티 모달 기반 감정 인식 모델에 대한 연구
한국통신학회 학술대회논문집
2020 .08
-
영상 하이라이트 탐지를 위한 감정 기반 멀티모달 학습 모델
한국정보과학회 학술발표논문집
2023 .06
-
얼굴 및 멀티모달 데이터를 활용한 감정 인식 연구 동향 조사
한국통신학회 학술대회논문집
2024 .11
-
복잡한 시각 추론을 위한 멀티모달 그래프 트랜스포머 알고리즘
한국정보과학회 학술발표논문집
2023 .06
-
모달리티 훼손에 강인한 멀티모달 기반 의미론적 세분화 모델을 위한 모달리티 안정화 학습 전략
한국차세대컴퓨팅학회 논문지
2023 .06
-
이중-단계 접근 기반의 멀티모달 감정 분석 모델
한국정보과학회 학술발표논문집
2023 .06
-
멀티모달 데이터를 활용한 강화학습 실험
한국통신학회 학술대회논문집
2022 .06
-
멀티모달 접근을 통한 딥러닝 기반 감정인식 알고리즘
한국통신학회 학술대회논문집
2019 .06
-
이미지-텍스트-오디오 멀티모달 학습 기반의 비디오 데이터 감성분석
한국정보과학회 학술발표논문집
2024 .06
-
멀티모달 데이터의 학습 목적별 품질검증 방안 고찰
한국통신학회 인공지능 학술대회 논문집
2024 .09
-
멀티모달 대규모 언어 모델 기술 분석
한국통신학회 학술대회논문집
2024 .06
-
대규모 멀티모달 모델 학습용 데이터의 구축 현황 분석
한국통신학회 학술대회논문집
2024 .06
-
비언어 시각 정보를 활용한 멀티 모달 감정 인식 기술
한국정보과학회 학술발표논문집
2023 .06
-
A Study on Deep Multimodal Learning Methods
대한전자공학회 학술대회
2022 .06
-
멀티 모달 기반 Turn-Taking
대한전자공학회 학술대회
2015 .11
이 논문의 저자 정보
이 논문과 함께 이용한 논문
멀티모달 감정인식 모델의 입력 특징에 따른 성능 분석
강도희
,
김대하
,
송병철
대한전자공학회 학술대회
2021
.06
추천 시스템을 위한 지식 증류 기술
이동하
정보과학회지
2021
.03
멀티 모달 기반 감정 인식 모델에 대한 연구
강찬혁
,
한경식
한국통신학회 학술대회논문집
2020
.08
멀티모달 접근을 통한 딥러닝 기반 감정인식 알고리즘
김석민
,
조원익
,
김형주
외 1명
한국통신학회 학술대회논문집
2019
.06
멀티모달 감정인식을 위한 사전학습된 모델 기반 텍스트 및 음성 특징표현 활용 방법
김준우
,
김동현
,
도주성
외 1명
한국정보과학회 학술발표논문집
2022
.06
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2021-569-002088971