지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2018.3
- 수록면
- 16 - 25 (10page)
이용수
초록· 키워드
오류제보하기
The talking head (TH) indicates an utterance face animation generated based on text and voice input. In this paper, we propose the generation method of TH with facial expression and intonation by speech input only. The problem of generating TH from speech can be regarded as a regression problem from the acoustic feature sequence to the facial code sequence which is a low dimensional vector representation that can efficiently encode and decode a face image. This regression was modeled by bidirectional RNN and trained by using SAVEE database of the front utterance face animation database as training data. The proposed method is able to generate TH with facial expression and intonation TH by using acoustic features such as MFCC, dynamic elements of MFCC, energy, and F0. According to the experiments, the configuration of the BLSTM layer of the first and second layers of bidirectional RNN was able to predict the face code best. For the evaluation, a questionnaire survey was conducted for 62 persons who watched TH animations, generated by the proposed method and the previous method. As a result, 77% of the respondents answered that the proposed method generated TH, which matches well with the speech.
목차
Abstract
1. Introduction
2. Proposed method
3. Feature representation and extraction
4. Experiments
5. Conclusion
References
참고문헌 (23)
참고문헌 신청
[학술대회논문] - D.W. Massaro / 2004 / Symbiotic value of an embodied agent in language learning / 37th Hawaii International Conference on System Sciences
[학술대회논문] - B. Fan / 2015 / Photo-real t alking head with deep bidirectional LSTM / International Conference on Acoustics, Speech, and Signal Processing
[학술지(정기간행물)] - L. Wang / 2014 / HMM trajectory-guided sample selection for photo-realistic talking head / Multimedia Tools and Applications 74 (22) : 9849 ~ 9869
[기타자료] - A. Karpathy / 2015 / Visualizing and understanding recurrent networks / arXiv:1506.02078
[학술대회논문] - E. Cosatto / 1998 / Sample-based synthesis of photo realistic talking heads / Computer Animation 98 : 103 ~ 110
[학술대회논문] - B. Fan / 2015 / Photo-real t alking head with deep bidirectional LSTM / International Conference on Acoustics, Speech, and Signal Processing
[학술지(정기간행물)] - L. Wang / 2014 / HMM trajectory-guided sample selection for photo-realistic talking head / Multimedia Tools and Applications 74 (22) : 9849 ~ 9869
[기타자료] - A. Karpathy / 2015 / Visualizing and understanding recurrent networks / arXiv:1506.02078
[학술대회논문] - E. Cosatto / 1998 / Sample-based synthesis of photo realistic talking heads / Computer Animation 98 : 103 ~ 110
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
음성의 음향적 특징과 얼굴 이미지 시퀀스를 이용한 감정인식에 관한 연구
전기학회논문지
2020 .07
-
A Review of Methods in Speech and Facial Expressions Recognition for Human-Computer Interaction
Proceedings of The International Workshop on Future Technology
2017 .07
-
A Study on the Emotional Feature Composed of the Mel-frequency Cepstral Coefficient and the Speech Speed
Journal of Computing Science and Engineering
2019 .12
-
블랜드 쉐입 가중치 생성을 통한 음성 기반 발화 애니메이션 생성 연구
한국정보통신학회 종합학술대회 논문집
2024 .05
-
Welcoming Speech
AFORE
2015 .11
-
Welcoming Speech
AFORE
2017 .11
-
Welcoming Speech
AFORE
2015 .11
-
Welcoming Speech
AFORE
2018 .08
-
Speech emotion recognition based on genetic algorithm–decision tree fusion of deep and acoustic features
[ETRI] ETRI Journal
2022 .06
-
A Study on the Realization of Virtual Simulation Face Based on Artificial Intelligence
Journal of information and communication convergence engineering
2023 .06
-
변형된 bidirectional Recurrent Neural Network 인코더 기반 Video-to-text
대한전자공학회 학술대회
2016 .11
-
Adaptive Feature Generation for Speech Emotion Recognition
IEIE Transactions on Smart Processing & Computing
2020 .06
-
EVS 코덱에서 보청기를 위한 RNN 기반의 음성/음악 분류 성능 향상
재활복지공학회논문지
2017 .05
-
음성신호기반의 감정인식의 특징 벡터 비교
전기학회논문지
2018 .10
-
STFT와 RNN을 활용한 화자 인증 모델
정보보호학회논문지
2019 .12
-
A Slim Convolutional Neural Network for Low-cost Masked Facial Expression Classifier
제어로봇시스템학회 국제학술대회 논문집
2023 .10
-
음성 특징과 텍스트 임베딩을 이용한 멀티모달 감정인식
전기학회논문지
2021 .01
-
LSTM-RNN 기반 음성합성을 위한 파라미터 생성 알고리즘
한국방송미디어공학회 학술발표대회 논문집
2017 .06
-
심층신경망 구조 기반 음성인식 시스템을 위한 변형된 MFCC 특징추출방법
한국정보과학회 학술발표논문집
2015 .12
-
Speech-Act Analysis System Based on Dialogue Level RNN-CNN Effective on the Exposure Bias Problem
Journal of KIISE
2018 .09
이 논문의 저자 정보
이 논문과 함께 이용한 논문
중재 시술 적용을 위한 소형 연속체 로봇의 정역학 모델링 및 301외부 측면 하중에 의한 변위 분석
김기영
,
우현수
,
조장호
외 2명
로봇학회 논문지
2020
.12
넓은 동작 영역을 가지는 전기자동차 충전기용 공진형 컨버터 제어 방법
박원우
,
장푸름
,
박상민
외 2명
전력전자학회 학술대회 논문집
2023
.07
Autonomous-Driving Vehicle Learning Environments using Unity Real-time Engine and End-to-End CNN Approach
Sabi
,
Hossain
,
Deok-Jin Lee
로봇학회 논문지
2019
.06
격자 지도의 골격화를 이용한 Informed RRT* 기반 경로 계획 기법의 개선
박영훈
,
유혜정
로봇학회 논문지
2018
.06
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-ECN-0101-2020-559-001256851