지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
이용수
DBpia Top 10%동일한 주제분류 기준으로최근 2년간 이용수 순으로 정렬했을 때
해당 논문이 위치하는 상위 비율을 의미합니다.
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
본 연구는 자연어처리의 분석목적과 추론데이터 성격에 적합한 한국어 사전훈련 언어모델의 특성을 실증분석했다. 이를 위해 자연어생성이 가능한 대표적 사전훈련 언어모델인 BART와 GPT 모델을 실험에 사용했다. 구체적으로 한국어 텍스트를 BART와 GPT 모델에 학습한 사전훈련 언어모델을 사용해 문서요약 생성 성능을 비교했다. 다음으로 추론데이터의 특성에 따라 언어모델의 성능이 어떻게 달라지는지 확인하기 위해 6가지 정보전달성과 4가지 창작물 유형의 한국어 텍스트 문서에 적용했다. 그 결과, 모든 문서유형에서 인코더와 디코더가 모두 있는 BART의 구조가 디코더만 있는 GPT 모델보다 더 높은 성능을 보였다. 추론데이터의 특성이 사전훈련 언어모델의 성능에 미치는 영향을 살펴본 결과, KoGPT는 데이터의 길이에 성능이 비례한 것으로 나타났다. 그러나 길이가 가장 긴 문서에 대해서도 KoGPT보다 KoBART의 성능이 높아 다운스트림 태스크 목적에 맞는 사전훈련 모델의 구조가 자연어생성 성능에 가장 크게 영향을 미치는 요소인 것으로 나타났다. 추가적으로 본 연구에서는 정보전달성과 창작물로 문서의 특징을 구분한 것 외에 품사의 비중으로 문서의 특징을 파악해 사전훈련 언어모델의 성능을 비교했다. 그 결과, KoBART는 어미와 형용사/부사, 동사의 비중이 높을수록 성능이 떨어진 반면 명사의 비중이 클수록 성능이 좋았다. 반면 KoGPT는 KoBART에 비해 품사의 비중과 상관도가 낮았다. 이는 동일한 사전훈련 언어모델이라도 추론데이터의 특성에 따라 자연어생성 성능이 달라지기 때문에 다운스트림 태스크에 사전훈련 언어모델 적용 시 미세조정 외에 추론데이터의 특성에 대한 고려가 중요함을 의미한다. 향후 어순 등 분석을 통해 추론데이터의 특성을 파악하고, 이것이 한국어 생성에 미치는 영향을 분석한다면 한국어 특성에 적합한 언어모델이나 자연어생성 성능 지표 개발이 가능할 것이다.
목차
1. 서론
2. 선행연구
3. 연구설계 및 분석방법
4. 분석결과
5. 결론 및 시사점
참고문헌(References)
Abstract
참고문헌 (46)
참고문헌 신청
Alomari, A., Norisma, I., Sabri, A. Q. M., and I. Alsmadi, “Deep reinforcement and transfer learning for abstractive text summarization: A review,” Computer Speech & Language, Vol.71 (2022), 101276.
Alyafeai, Z., AlShaibani, M. S., and I. Ahmad, “A survey on transfer learning in natural language processing,” In ArXiv, vol. abs/2007.04239, (2020).
Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and D. Amodei, “Language models are few-shot learners,” In Advances in Neural Information Processing Systems, Vol.33(2020), 1877～1901.
Cao, Z., Wei, F., Li, W., and S. Li, “Faithful to the original: Fact aware neural abstractive summarization,” In Proceedings of the Thirty Second AAAI Conference on Artificial Intelligence, (2018), 4784～4791.
Cho, K., Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., and Y. Bengio, “Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation,” In Proceedings of the Empirical Methods in Natural Language Processing, (2014), 1724～1734.
Alyafeai, Z., AlShaibani, M. S., and I. Ahmad, “A survey on transfer learning in natural language processing,” In ArXiv, vol. abs/2007.04239, (2020).
Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and D. Amodei, “Language models are few-shot learners,” In Advances in Neural Information Processing Systems, Vol.33(2020), 1877～1901.
Cao, Z., Wei, F., Li, W., and S. Li, “Faithful to the original: Fact aware neural abstractive summarization,” In Proceedings of the Thirty Second AAAI Conference on Artificial Intelligence, (2018), 4784～4791.
Cho, K., Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., and Y. Bengio, “Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation,” In Proceedings of the Empirical Methods in Natural Language Processing, (2014), 1724～1734.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
한국어 자연어생성에 적합한 사전훈련 언어모델 특성 연구
한국지능정보시스템학회 학술대회논문집
2022 .11
-
인과 추론 문제 해결에 적합한 자연어 처리 모델 BART 분석
한국정보과학회 학술발표논문집
2022 .06
-
KB-BERT: 금융 특화 한국어 사전학습 언어모델과 그 응용
지능정보연구
2022 .06
-
사전학습 언어모델을 이용한 한국어 단일 문서 요약에 대한 연구
한국정보과학회 학술발표논문집
2021 .06
-
한국어 사전 학습 언어 모델(PLM)을 위한 고품질 데이터셋 구축 및 평가
한국정보과학회 학술발표논문집
2024 .12
-
한국어 자연어 추론을 위한 거대 언어 모델 기반 지식 생성
한국정보과학회 학술발표논문집
2023 .06
-
BART 모델을 활용한 고객센터 상담데이터 요약에 대한 연구
한국지능정보시스템학회 학술대회논문집
2021 .12
-
Korean Text Summarization using MASS with Relative Position Representation
Journal of KIISE
2020 .09
-
텍스트 요약을 위한 어텐션 기반 BART 모델 미세조정
한국정보통신학회논문지
2022 .12
-
BART 모델에 기반한 논문 요약 어플리케이션
한국정보과학회 학술발표논문집
2021 .06
-
BART 모델 기반의 긴 특허 문서 요약 시스템 개발
한국정보과학회 학술발표논문집
2022 .06
-
지식 증류 기법 기반의 경량화 사전학습 한국어 언어 모델
한국통신학회 학술대회논문집
2022 .02
-
금융권에 적용 가능한 금융특화언어모델 구축방안에 관한 연구
한국산업정보학회논문지
2024 .06
-
GPT-3를 활용한 시나리오 생성 보조 시스템
한국컴퓨터정보학회 학술발표논문집
2022 .07
-
생성 요약 향상을 위한 가중치 문맥 벡터 기반 BART 모델
한국정보기술학회논문지
2021 .10
-
문맥 벡터 군집화를 통한 BART 모델의 생성 요약 향상 방안
Proceedings of KIIT Conference
2021 .11
-
창의적 콘텐츠 생성에서 GPT-4의 성능 평가: 인간 작성물과의 비교 연구
디지털콘텐츠학회논문지
2024 .09
-
[우수논문] BART-SCA: Supervised Cross-Attention기반 BART를 이용한 Document-Grounded 응답생성
한국정보과학회 학술발표논문집
2022 .12
-
거대 언어 모델과 In-context learning을 이용한 자연어 추론 학습 데이터 자동 생성
한국정보과학회 학술발표논문집
2023 .06
-
BART를 이용한 CT 판독문 소견의 결론 요약 모델 개발
한국정보과학회 학술발표논문집
2024 .06
이 논문의 저자 정보
이 논문과 함께 이용한 논문
음성 대화 시스템을 위한 심층 학습 기반 자연어 생성 기술
박영민
,
김학수
정보과학회지
2021
.04
감성 및 감정 단어 마스킹 기반 BERT와 GPT 파이프라인 방식을 통한 감정 문장 생성
이원민
,
온병원
한국정보기술학회논문지
2021
.09
AI의 STT 인식오류의 유형분석과 개선을 위한 제언
전지연
교양학연구
2021
.01
유아의 자아개념 구조에 대한 분석
이경옥
열린유아교육연구
2003
.08
KoBERT, KoGPT-2, KoBART 활용 및 하이퍼파라미터 최적화를 진행한 리뷰 감성분석 애플리케이션 구현
이민아
,
박연지
,
나준영
외 1명
디지털콘텐츠학회논문지
2023
.11
최근 본 자료
댓글(0)
0