딥러닝 기반 기계번역 학습을 위한 다국어 데이터 정제 방법론 :A Multilingual Data Purification Methodology for Machine Translation Based on Deep Learning

이아영

추천

검색

자료유형: 학위논문

저자정보: 이아영 (국민대학교, 국민대학교 비즈니스IT전문대학원)

지도교수: 김남규

발행연도: 2023

저작권: 국민대학교 논문은 저작권에 의해 보호받습니다.

이용수11

이 논문의 연구 히스토리 (3)

2023

벡터 얼라인먼트를 활용한 기계 번역 학습 데이터 정제 방법론

이아영 , 이동훈 , 김남규 아시아태평양융합연구교류논문지 2023.05 학술저널

딥러닝 기반 기계번역 학습을 위한 다국어 데이터 정제 방법론

이아영 2023.01 학위논문

2022

딥러닝 기반 다국어 데이터 정제 기법

이아영 , 이동훈 , 한민아 외 1명 한국통신학회 학술대회논문집 2022.11 학술대회자료

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록· 키워드

오류제보하기

최근 GPU 및 AI 알고리즘의 발전에 따라, 딥러닝 기반의 다양한 자연어 처리 태스크 중 기계 번역 분야에서도 괄목할 성과가 나타나고 있다. 기계 번역 태스크를 수행하기 위해서는 원문 언어와 대상 언어의 쌍으로 구성된 방대한 양의 병렬 코퍼스가 필요한데, 이러한 병렬 코퍼스가 드물 뿐 아니라 해당 데이터의 품질을 확인하기 어렵다는 점이 존재한다.
예를 들어, 원문 언어와 대상 언어의 데이터 간에 상당한 어휘 및 문법 차이가 있을 수 있으며, 문장 구조의 다양성과 번역의 복잡성으로 인해 어떤 경우에는 번역이 부자연스러운 경우가 있다. 또한, 병렬 코퍼스의 도메인이 일반 도메인이 아닌 전문 어휘가 많은 도메인일 경우, 전문 어휘에 대한 번역이 제대로 이루어지지 않아 원문 언어와 대상 언어의 데이터 간 편차가 발생하게 된다.
하지만 기계 번역 학습 데이터의 품질이 번역 모델의 성능에 직접적인 영향을 미치는 매우 중요한 요소임에도 불구하고, 기계 번역 학습 데이터의 품질에 대한 논의는 거의 다루어지지 않았다. 뿐만 아니라, 만약 병렬 코퍼스의 품질이 떨어지는 데이터로 학습을 시키게 되면 기계 번역 학습에 큰 악영향을 주는 한계를 갖는다.
이에 본 연구에서는 벡터 정렬 기술을 활용하여 기계 번역 학습용 데이터의 품질을 높이는 새로운 방안을 제안한다. 구체적으로 제안 방법론은 고품질 한/영 데이터를 사용하여 영어 문장 벡터를 한글 문장 벡터로 변환하는 딥러닝 기반 벡터 정렬 모델을 학습하고, 학습된 모델을 사용하여 새로 주어진 한/영 데이터의 영어 문장 벡터를 한글 벡터 공간으로 정렬한 뒤, 정렬된 벡터와 한/영 데이터의 한글 문장 벡터와의 유사성이 낮은 경우 이를 노이즈로 간주하여 제거한다. 제안 방법론을 실제 데이터 분석에 적용한 실험 결과, 전체 데이터 중 10%를 정제했을 때의 성능이 F1-score 기준 평균 0.860으로 가장 우수하게 나타남을 확인하였다.

With recent advancements in GPUs and novel AI algorithms, remarkable progress has been made in the field of deep learning-based machine translation. A vast amount of parallel corpus consisting of pairs of source and target languages is required to perform machine translation tasks successfully. However, such parallel corpora are rare, and verifying the quality of this data is challenging.
For instance, there can be significant differences in vocabulary and grammar between the source language and the target language data. The diversity of sentence structures and the complexity of translation can sometimes lead to unnatural translations. Moreover, when the domain of parallel corpora involves a specialized vocabulary-rich domain rather than a general domain, translation of specialized vocabulary may not be done properly, resulting in disparities between the source language and the target language data.
Nevertheless, the quality of machine translation training data is a crucial factor that directly impacts the performance of translation models, yet discussions about the quality of machine translation training data have been largely absent. Furthermore, if low-quality data is used for machine translation training, it imposes limitations and negatively affects machine translation learning.
In this study, therefore, we propose a method to improve the quality of machine translation training data using deep learning-based vector alignment techniques. Specifically, we train a deep learning-based vector alignment model to convert English sentence vectors to Korean sentence vectors using high-quality Korean-English data, align the English sentence vectors of newly given Korean-English data to the Korean vector space using the trained model, and remove the ones with the low similarity between the aligned vectors and Korean sentence vectors as noise. Experimental results show that the proposed method achieves the best performance with an F1-score of 0.860 on average when refining 10% of the entire data.

#딥러닝 #기계 번역 #데이터 정제 #벡터 정렬 #Deep Learning #Machine Translation #Data Purification #Vector Alignment

제1장. 서론 1
제2장. 관련 연구 5
2.1. 기계 번역 5
2.2. 벡터 정렬 10
제3장. 제안 방법론 15
3.1. 제안 방법론 개요 15
3.2. 임베딩 벡터 도출 16
3.3. 벡터 정렬 모델 구축 19
3.4. 저품질 데이터 정제 19
제4장. 실험 22
4.1. 실험 개요 22
4.2. 실험 데이터 구축 23
4.3. 실험 결과 24
제5장. 결론 27
본인의 이전 저작물 활용 고지 29
참고문헌 30
Abstract 36

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

이 논문의 연구 히스토리 (3)

초록· 키워드

목차

최근 본 자료

댓글(0)