지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2024.11
- 수록면
- 1,416 - 1,423 (8page)
- DOI
- 10.9717/kmms.2024.27.11.1416
이용수
초록· 키워드
오류제보하기
In this paper aims to develop a lip reading system utilizing deep learning technology to enhance the quality of life for individuals with hearing impairments. Specifically, we sought to establish a speak- er-independent lip reading model using a 3D convolutional neural network(3D CNN) and a video classifier. For the dataset, we utilized four lip reading videos from the AI-HUB lip reading speech rec- ognition dataset, which included both expert and general participants in noisy environments. The data were segmented into clips for training purposes. The 3D CNN architecture effectively captured the spa- tiotemporal features of lip movements, while the video classifier applied a multimodal approach to fuse visual and auditory information. The training results achieved a loss of 0.002, a training loss of 0.013, and a training accuracy of 97.4%. This demonstrates the proposed deep learning-based lip reading sys- tem's potential for speaker independence and adaptability in noisy environments. In this paper presents a practical solution that can support communication and social integration for individuals with hearing impairments.
목차
ABSTRACT
1. 서론
2. 관련 연구
3. 제안한 방법
4. 실험 및 결과 분석
5. 결론
REFERENCE
참고문헌 (11)
참고문헌 신청
S. Cho and S. Yoon, “Korean Lip-Reading: Data Construction and Sentence-Level Lip-Reading,” Journal of the KIMST, Vol. 27, No. 2, pp. 167-176, 2024.
Y. Lee, S. Lee, H. Yoo, Y. Yoo, Y. Jung, and J. Yun, “Lip Reading and Speech Training Service for Hearing Impaired People,” Journal of Korean Society of Design Research Conference, Vol. 2001, No. 5, pp. 208-209, 2021.
S. Jung, J. Jeoung, H. Kang, and T. Hong, “3D Convolutional Neural Network-Based One-Stage Model for Real-Time Action Detection in Video of Construction Equipment,” Computer-Aided Civil and Infrastructure Engineering, Vol. 37, No. 1, pp. 126-142, 2022.
L. Jing, T. Parag, Z. Wu, Y. Tian, and H. Wang, “VideoSSL: Semi-Supervised Learning for Video Classification,” Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 1110-1119, 2022.
A. Berkol, T. Tümer-Sivri, N. Pervan-Akman, M. Çolak, and H. Erdem, “Visual Lip Reading Dataset in Turkish,” Data, Vol. 8, No. 1, pp. 15, 2023.
Y. Lee, S. Lee, H. Yoo, Y. Yoo, Y. Jung, and J. Yun, “Lip Reading and Speech Training Service for Hearing Impaired People,” Journal of Korean Society of Design Research Conference, Vol. 2001, No. 5, pp. 208-209, 2021.
S. Jung, J. Jeoung, H. Kang, and T. Hong, “3D Convolutional Neural Network-Based One-Stage Model for Real-Time Action Detection in Video of Construction Equipment,” Computer-Aided Civil and Infrastructure Engineering, Vol. 37, No. 1, pp. 126-142, 2022.
L. Jing, T. Parag, Z. Wu, Y. Tian, and H. Wang, “VideoSSL: Semi-Supervised Learning for Video Classification,” Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pp. 1110-1119, 2022.
A. Berkol, T. Tümer-Sivri, N. Pervan-Akman, M. Çolak, and H. Erdem, “Visual Lip Reading Dataset in Turkish,” Data, Vol. 8, No. 1, pp. 15, 2023.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
딥러닝을 활용한 실시간 Lip-Reading 시스템 설계
한국통신학회 학술대회논문집
2024 .06
-
가우스 분류기를 이용한 입술영역 추출
멀티미디어학회논문지
2017 .01
-
잡음환경에 딥러닝 기반 입술 동작 인식
Proceedings of KIIT Conference
2019 .06
-
Lip-reading System based on Bayesian Classifier
한국산업정보학회논문지
2020 .08
-
청각 장애인을 위한 구화 교육 앱 개발 프레임워크 설계
한국정보과학회 학술발표논문집
2015 .12
-
Lip detection Based on Histogram and Sliding-Window Convolutional Neural Network
한국지능시스템학회 학술발표 논문집
2016 .04
-
딥러닝 기반의 실시간 입모양 인식 시스템 구현
한국방송미디어공학회 학술발표대회 논문집
2020 .11
-
GAN 기반 입모양 합성 기술을 활용한 가상 아바타 영상 합성 기술
대한전자공학회 학술대회
2021 .11
-
광류와 조음 발성 특성을 이용한 립리딩 알고리즘
멀티미디어학회논문지
2018 .07
-
Convolutional Neural Network Based Image Processing System
Journal of information and communication convergence engineering
2018 .09
-
Dance Movement Recognition based on Deep Learning
IEIE Transactions on Smart Processing & Computing
2024 .06
-
Image Analysis of Cleft Lip from Moire Image Based on Symmetry Analysis
제어로봇시스템학회 국제학술대회 논문집
2017 .10
-
정지 물체를 고려한 다중 가우시안 분포 기반 적응적 배경모델링 및 물체탐지 기법
한국컴퓨터정보학회논문지
2018 .11
-
가상 면접 시나리오를 위한 2D 립싱크 면접관 생성: Stable Diffusion과 Wav2Lip의 활용
한국컴퓨터정보학회 학술발표논문집
2024 .07
-
CNN과 영상처리기술을 사용한 과수모니터링 시스템
Proceedings of KIIT Conference
2019 .06
-
Survey of the 3D Convolutional Neural Networks for Video Action Recognition
대한전자공학회 학술대회
2022 .06
-
한국어 명료도를 이용한 난청 분류 기법에 관한 연구
Proceedings of KIIT Conference
2016 .06
-
AI를 적용한 청각 장애인 안전 보조장치
한국생산제조학회 학술발표대회 논문집
2020 .07
-
Deep CNN 기반의 얼굴인식 시스템 개발
대한산업공학회 춘계공동학술대회 논문집
2019 .04
-
AI 기반 실내 자율 안내 로봇 설계 및 구현
대한설비관리학회지
2023 .06
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-25-02-091190492