기계 번역(Machine Translation)은 단일 언어 텍스트를 자동으로 타 언어로 변환하는 자연어 처리 분야 중 하나로, 문장 단위 기계 번역과 문서 단위 기계 번역으로 나뉜다. 최근 신경망을 이용한 기계 번역 연구들이 속도와 번역 성능 향상을 목표로 다양하게 진행되고 있으며, 그 중에서 트랜스포머 모델은 가장 기본적인 모델로 우수한 번역 성능을 보인다. 그러나, 번역 속도가 느리다는 단점이 있어 이를 개선하기 위한 연구 역시 활발히 진행 중이다. 신경망 기계 번역 모델은 입력 받은 문장을 타 언어로 번역해 주는 End-to-End 방식이 주로 연구되고 있는데, 병렬 코퍼스의 양이 적을 경우 해당 코퍼스에서 언어적 특징들을 충분히 뽑아내지 못하여 번역 성능이 떨어질 수 있다. 특히, 문서 단위 기계 번역의 경우 공개된 문서 단위 기계 번역 코퍼스가 적음으로 인해 충분한 코퍼스를 확보하는 데 큰 어려움이 존재한다. 따라서 본 논문에서는 문서 단위 기계 번역 성능을 위한 트랜스포머 디코딩 속도 개선과 데이터 증강 기법을 제안한다.
첫 번째로 기계 번역의 속도 향상을 위해 속도 개선 연구들인 CAN(Compressed Attention Network)과 DS(Dense Synthesizer)를 결합한 새로운 모델을 제시한다. CAN은 트랜스포머 디코더의 Self-Attention, Cross-Attention, FFN(Feed Forward Network)을 하나의 Attention으로 통합한 모델로, 병렬성이 증가하고 속도가 향상되는 특징이 있다. 또한 DS는 Self-Attention 대체 가능한 Query와 Key의 매칭을 삭제하는 Synthetic Attention을 제안해 기존의 Dot-Product Attention을 2-Layer FFN로 바꿔 Dot-Product Attention을 수행하지 않음으로 계산되는 양을 줄여 속도 향상을 보인다. 본 논문에서는 이러한 두 기법의 특성을 결합한 CAN+DS 모델을 설계 및 구현하였다. 실험 결과, 제안 모델이 Baseline과 비교할 때 번역 성능은 약간 감소하였지만, 번역 속도는 2.2배 증가시킴을 확인하였다. 따라서, 제안한 모델은 성능 저하를 최소화하며 번역 속도를 크게 개선했다. 두 번째로 문서 단위 병렬 코퍼스의 부족 문제를 해결하기 위한 다섯 가지 원문 코퍼스 기반 데이터 증강 기법을 제안한다. 기존에 문장 단위 병렬 코퍼스는 많이 존재하지만 문서 단위 병렬 코퍼스는 없어 문장들을 묶어 문서를 만들고자 했다. Sentence Segmentation 기반 데이터 증강, 군집 알고리즘 기반 데이터 증강, 군집 알고리즘+ NSP(Next Sentence Prediction) 기반 데이터 증강, 군집 알고리즘+First-sentence NSP 기반 데이터 증강과 문서 단위 Back Translation 기반 데이터 증강으로 나뉜다. 실험 결과, 군집 알고리즘 기반 데이터 증강 기법을 적용한 번역 성능이 적용 전에 비해 S-BLEU 3.15, D-BLEU 2.92까지 향상됐다. 그리고, 문서 단위 Back Translation 기법을 결합할 경우 S-BLEU 3.84, D-BLEU 3.65까지 향상됨을 보였다. 본 논문에서 제안한 데이터 증강 기법은 기존 데이터 증강 기법과 달리 원문 코퍼스를 그대로 활용함으로 문법이나 의미가 훼손되지 않는 장점이 있고, 저자원 언어에도 적용이 가능하며 적은 시간과 비용으로 문서 단위 기계 번역 성능을 향상시키는 것이 가능하다는 것을 확인할 수 있었다. 실험 결과를 통해, 문서의 유사성은 군집 알고리즘+NSP 기반 데이터 증강 기법이 제일 뛰어났지만 군집 알고리즘 기반 데이터 증강 기법이 제일 높은 성능을 보여 Bias가 어느정도 있는 실제 문서와 유사한 더미 문서가 문서 단위 기계 번역 성능 향상에 제일 효과적임을 입증하였다. 결과적으로, 본 논문에서 제안한 CAN+DS 모델과 원문 코퍼스 기반 데이터 증강 기법을 통해 기계 번역의 전체적인 성능을 개선할 수 있었으며, 이는 문서 단위 기계 번역이 필요한 다양한 분야에 접목이 가능한 효율적인 연구 결과로 보여진다.

Machine translation is one of the fields of natural language processing that automatically converts a single language text into another language, and is divided into sentence-level machine translation and document-level machine translation. Recently, machine translation studies using neural networks have been conducted in various ways with the goal of improving speed and translation performance, and among them, the transformer model is the most basic model and shows excellent translation performance. However, there is a disadvantage that the translation speed is slow, and research to improve this is also actively underway. The neural network machine translation model is mainly researching the end-to-end method that automatically translates sentences into other languages. In this case, if the amount of the parallel corpus is small, translation performance may be degraded because linguistic features cannot be sufficiently extracted from the corresponding corpus. Especially, in the case of document unit machine translation, there is a great difficulty in securing a sufficient corpus due to the small amount of open document unit machine translation corpus. Therefore, in this paper, we propose a transformer decoding speed improvement and data augmentation technique for document-level machine translation performance.
First, we present a new model that combines CAN(Compressed Attention Network) and DS(Dense Synthesizer), which are speed improvement studies, to improve machine translation speed. CAN is a model that integrates Self-Attention, Cross-Attention, and Feed Forward Network(FFN) of a transformer decoder into one Attention, and has the characteristics of increasing parallelism and improving speed. In addition, Dense Synthesizer proposes Synthetic Attention that deletes the matching of Query and Key, which can replace Self-Attention, and replaces the existing Dot-Product Attention with a 2-Layer FFN, which is calculated as not performing Dot-Product Attention. It has the advantage of showing speed improvement by reducing the amount. In this paper, a CAN+DS model combining the characteristics of these two techniques was designed and implemented. As a result of the experiment, it was confirmed that the translation performance of the proposed model slightly decreased compared to the baseline, but the translation speed increased by 2.2 times. Therefore, the proposed model greatly improved the translation speed while minimizing performance degradation. Second, we propose five original corpus-based data augmentation techniques to solve the problem of lack of parallel corpus per document. In the past, there are many sentence-level parallel corpus, but there is no document-level parallel corpus, so we tried to create a document by grouping sentences. It is divided into data augmentation based on Sentence Segmentation, data augmentation based on clustering algorithm, data augmentation based on clustering algorithm+NSP(Next Sentence Prediction), data augmentation based on clustering algorithm+First-sentence NSP, and data augmentation based on document unit Back Translation. As a result of the experiment, the translation performance using the clustering algorithm-based data augmentation technique improved to S-BLEU 3.15 and D-BLEU 2.92 compared to before application. It was shown that S-BLEU 3.84 and D-BLEU 3.65 were improved when document-based back translation techniques were combined. Unlike existing data augmentation techniques, the data augmentation technique proposed in this paper has the advantage of not damaging grammar or meaning by using the original corpus as it is. In addition, it was confirmed that it can be applied to low-resource languages and that machine translation performance can be improved in document units with a small amount of time and cost. Through the experimental results, the clustering algorithm+NSP-based data augmentation technique was the best in document similarity, but the cluster algorithm-based data augmentation technique showed the highest performance, proving that dummy documents similar to real documents with some bias are most effective in improving document-level machine translation performance. As a result, the overall performance of machine translation could be improved through the CAN+DS model and data augmentation technique proposed in this paper, which is seen as an efficient research result that can be applied to various fields that require document-level machine translation.