지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 저널정보
- Korean Institute of Information Scientists and Engineers Journal of KIISE Journal of KIISE Vol.47 No.8
- 발행연도
- 2020.8
- 수록면
- 730 - 741 (12page)
- DOI
- 10.5626/JOK.2020.47.8.730
이용수
초록· 키워드
오류제보하기
본 논문은 Transformer로 구현한 한국어 형태소 분석기를 다룬다. Transformer는 최근에 가장 널리 사용되는 sequence-to-sequence 모델 중 하나이다. Transformer는 인코더와 디코더로 구성되어 있는데 인코더는 원문을 고정된 크기의 벡터로 압축시키고 디코더는 이 벡터를 이용하여 형태소 분석 결과를 생성해 낸다. 본 논문에서는 또한 Transformer의 인코더를 BERT로 대체해 본다. BERT는 대용량의 학습데이터를 이용하여 미리 학습시켜 놓은 언어 표현 모델이다. 디코더에는 주의 메커니즘과 복사 메커니즘을 도입하였다. 인코더와 디코더에서의 처리 단위는 각각 어절 단위 WordPiece와 형태소 단위의 WordPiece를 사용하였다. 실험을 통해, BERT의 파라미터를 문제에 맞게 재조정했을 때의 성능이 Transformer를 임의의 값으로 초기화하여 사용했을 때에 비해 F1에서 2.9%의 성능 향상을 보임을 알 수 있었다. 또한 학습단계에서 충분히 학습되지 못한 WordPiece의 임베딩이 형태소 분석에 어떤 영향을 미치는지도 살펴보았다.
목차
요약
Abstract
1. 서론
2. 관련 연구
3. BERT와 Transformer를 이용한 한국어 형태소 분석 모델
4. 실험 환경
5. 실험 결과 및 결과 분석
6. 결론
References
참고문헌 (17)
참고문헌 신청
S. Na, Y. Kim, "Phrase-Based Statistical Model for Korean Morpheme Segmentation and POS Tagging," Proc of the KIISE Korea Computer Congress 2014, pp. 571-573, 2014. (in Korean)
C. Lee, "Joint Models for Korean Word Spacing and POS Tagging using Structural SVM," Journal of KIISE : Software and Applications, Vol. 40, No. 12, pp. 826-832, Dec. 2013. (in Korean)
C. Park, C. Lee, H. Kim, "Korean Morphological Analysis and Part-Of-Speech Tagging with LSTMCRF based on BERT," Proc. of the 31th Annual Conference on Human and Cognitive Language Technology, pp. 34-36, 2019. (in Korean)
J. Li, E. Lee, J.-H. Lee, "Sequence-to-sequence based Morphological Analysis and Part-Of-Speech Tagging for Korean Language with Convolutional Features," Journal of KIISE : Software and Applications, Vol. 44, No. 1, pp. 57-62, Jan. 2017. (in Korean)
H. Hwang, C. Lee, "Korean Morphological Analysis using Sequence-to-sequence learning with Copying mechanism," Proc of the KIISE Korea Software Congress 2016, pp. 443-445, 2016. (in Korean)
C. Lee, "Joint Models for Korean Word Spacing and POS Tagging using Structural SVM," Journal of KIISE : Software and Applications, Vol. 40, No. 12, pp. 826-832, Dec. 2013. (in Korean)
C. Park, C. Lee, H. Kim, "Korean Morphological Analysis and Part-Of-Speech Tagging with LSTMCRF based on BERT," Proc. of the 31th Annual Conference on Human and Cognitive Language Technology, pp. 34-36, 2019. (in Korean)
J. Li, E. Lee, J.-H. Lee, "Sequence-to-sequence based Morphological Analysis and Part-Of-Speech Tagging for Korean Language with Convolutional Features," Journal of KIISE : Software and Applications, Vol. 44, No. 1, pp. 57-62, Jan. 2017. (in Korean)
H. Hwang, C. Lee, "Korean Morphological Analysis using Sequence-to-sequence learning with Copying mechanism," Proc of the KIISE Korea Software Congress 2016, pp. 443-445, 2016. (in Korean)
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
BERT를 이용한 Wordpiece 토큰 기반의 의존 구문 분석
한국정보과학회 학술발표논문집
2022 .12
-
다중 인코더 Transformer 기반 번역문 자동 사후 교정 모델의 디코더 구조 연구
한국정보과학회 학술발표논문집
2019 .06
-
BERT를 이용한 전이 기반 한국어 형태소 분석 및 품사 태깅
한국정보과학회 학술발표논문집
2019 .12
-
단어 손실함수를 추가한 트랜스포머 인코더-디코더 기반의 제목 생성 모델
한국정보과학회 학술발표논문집
2020 .07
-
BERT, LSTM과 GRU를 사용한 네트워크 이상 탐지 성능 비교
한국통신학회 학술대회논문집
2022 .02
-
Ko-bert2BERT: 지식 전이를 통한 인코더-디코더 언어모델의 효율적인 사전 학습
한국정보과학회 학술발표논문집
2022 .06
-
사전 학습된 BERT와 미세 조정된 BERT간의 어텐션 헤드 유사도 분석
한국정보과학회 학술발표논문집
2022 .12
-
인터리브-디코더를 이용한 Sequence-to-Sequence기반 한국어 형태소 분석
한국정보과학회 학술발표논문집
2022 .06
-
BERT 기반 Variational Inference와 RNN을 이용한 한국어 영화평 감성 분석
정보과학회 컴퓨팅의 실제 논문지
2019 .11
-
A Deep Learning-based Two-Steps Pipeline Model for Korean Morphological Analysis and Part-of-Speech Tagging
Journal of KIISE
2021 .04
-
BERT 파생 모델의 한국어에 대한 성능 비교
한국통신학회 학술대회논문집
2020 .02
-
한글 텍스트 감정 이진 분류 모델 생성을 위한 미세 조정과 전이학습에 관한 연구
한국산업정보학회논문지
2023 .10
-
BERT 기반 한국어 개방형 정보 추출
한국정보과학회 학술발표논문집
2019 .06
-
BERT의 계층에 따른 임베딩 벡터의 의미 분석
한국정보과학회 학술발표논문집
2021 .12
-
변압기 효율 적정화를 위한 변압기 부하율 조사 및 추정
조명·전기설비학회논문지
2016 .01
-
Korean Morphological Analyzer for Neologism and Spacing Error based on Sequence-to-Sequence
Journal of KIISE
2020 .01
-
Decision Transformer를 활용한 멀티 태스크 강화학습에서의 트랜스포머 아키텍처 비교 분석
한국통신학회 학술대회논문집
2025 .02
-
Copying mechanism을 이용한 Sequence-to-Sequence 모델기반 한국어 형태소 분석
한국정보과학회 학술발표논문집
2016 .12
-
Transformer 기반 한국어 음성인식 모델
한국통신학회 학술대회논문집
2020 .02
-
선학습 BERT를 활용한 의미벡터 학습 방법
한국정보과학회 학술발표논문집
2019 .12
이 논문의 저자 정보
이 논문과 함께 이용한 논문
A Deep Learning-based Two-Steps Pipeline Model for Korean Morphological Analysis and Part-of-Speech Tagging
윤준영
,
이재성
Journal of KIISE
2021
.04
문장 유형에 따른 한글 형태소 분석기 비교
우경진
,
정수현
한국정보과학회 학술발표논문집
2019
.12
Korean Morphological Analyzer for Neologism and Spacing Error based on Sequence-to-Sequence
최병서
,
이익훈
,
이상구
Journal of KIISE
2020
.01
대규모 텍스트 분석을 위한 한국어 형태소 분석기의 실행 성능 비교
원혜진
,
이현영
,
강승식
한국정보과학회 학술발표논문집
2020
.07
Sequence-to-sequence based Morphological Analysis and Part-Of-Speech Tagging for Korean Language with Convolutional Features
이건일
,
이의현
,
이종혁
Journal of KIISE
2017
.01
최근 본 자료
댓글(0)
0