지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2024.12
- 수록면
- 502 - 509 (8page)
- DOI
- 10.5391/JKIIS.2024.34.6.502
이용수
초록· 키워드
오류제보하기
시스템 사용자들은 문제를 운영 시스템을 기준으로 인식함에 따라, 장애 요인과 무관하게 요청사항이 시스템 운영 부서로 전달되는 경향이 많다. 이러한 현상을 바탕으로 운영 부서로 잘못 전달된 IT 요청사항 데이터셋을 활용하여 대형 언어 모델(LLM) 가운데 하나인 BERT모델로 학습하였고, IT 요청사항 데이터셋은 총 4개 부서의 클래스로 구성되어 있다. 모델학습 결과 Validation Loss(검증 데이터 손실) 증가로 과적합이 발생함에 따라 이에 대한 가장 효율적인 해결 방안으로 데이터 증강을 시도하였다. BERT와 같은 대규모 알고리즘은 소규모의 데이터셋으로 모델을 훈련할 경우 과적합(Overfitting)이 일어날 수 있기 때문이다. 과적합을 방지하고 모델의 학습 성능을 향상시키기 위해 훈련 데이터 증강(Data Augmentation)이 효과적인 방법으로 제시된다. 본 연구에서는 대표적인 네 가지의 텍스트 데이터 증강 기법을 적용하여 모델의 학습 정확도와 모델 일반화(Model Generalization) 능력을 비교 실험하는 연구를 수행하였다.
목차
요약
Abstract
1. 서론
2. 관련연구
3. 제안기법
4. 실험 데이터 전처리
5. 실험결과
6. 결론 및 향후 연구
References
참고문헌 (15)
참고문헌 신청
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, Ł. Kaiser, and I. Polosukhin, “Attention is all you need,” Proceedings of the Advances in Neural Information Processing Systems (NeurIPS), pp. 5998-6008, June, 2017.
Sangheum Hwang and Dohyun Kim, “BERT-based Classification Model for Korean Documents,” The Journal of Society for e-Business Studies, vol. 25, no. 1, pp. 203-214, 2020.
Sehoon Kim, A. Gholami, Z. Yao, M. W. Mahoney, and K. Keutzer, “I-BERT: Integer-only BERT Quantization,” Proceedings of the International Conference on Machine Learning (ICML), pp. 5506-5518, July, 2021.
J. Wei and K. Zou, “EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks,” Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6381-6387, November, 2019.
Kihun Kim, Changki Lee, Jihee Ryu, and Joonho Lim, “BERT-based Data Augmentation Techniques for Korean Coreference Resolution,” Proceedings of the 32nd Annual Conference on Human and Language Technology, pp. 249-253, 2020.
Sangheum Hwang and Dohyun Kim, “BERT-based Classification Model for Korean Documents,” The Journal of Society for e-Business Studies, vol. 25, no. 1, pp. 203-214, 2020.
Sehoon Kim, A. Gholami, Z. Yao, M. W. Mahoney, and K. Keutzer, “I-BERT: Integer-only BERT Quantization,” Proceedings of the International Conference on Machine Learning (ICML), pp. 5506-5518, July, 2021.
J. Wei and K. Zou, “EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks,” Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6381-6387, November, 2019.
Kihun Kim, Changki Lee, Jihee Ryu, and Joonho Lim, “BERT-based Data Augmentation Techniques for Korean Coreference Resolution,” Proceedings of the 32nd Annual Conference on Human and Language Technology, pp. 249-253, 2020.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
데이터 증강을 활용한 BERT 언어모델 사전학습
대한산업공학회 추계학술대회 논문집
2020 .11
-
한국어 데이터를 활용한 data augmentation
한국정보통신학회논문지
2023 .04
-
한국어 의미역 결정을 위한 BERT 기반 데이터 증축 기법
한국정보과학회 학술발표논문집
2020 .07
-
MNIST 데이터셋 분류를 위한 증강 방법에 관한 연구
한국정보과학회 학술발표논문집
2021 .06
-
BERT 기반 교통사고 비정형 데이터 분류 모델 개발
대한교통학회 학술대회지
2022 .04
-
BERT 파생 모델의 한국어에 대한 성능 비교
한국통신학회 학술대회논문집
2020 .02
-
BERT 언어 모델을 사용한 상담 매칭 시스템
한국정보과학회 학술발표논문집
2020 .07
-
심층 강화 학습에서의 데이터 증강 이용 시기의 중요성 연구
한국정보과학회 학술발표논문집
2021 .12
-
물리 모델 기반의 데이터 증강화 기법을 통한 난방 에너지 사용량 예측에 관한 연구
대한건축학회 학술발표대회 논문집
2022 .10
-
딥러닝 모델에서 증강 데이터를 활용한 선행 학습
한국정보과학회 학술발표논문집
2021 .06
-
좌충우돌 감성분석 BERT 미세조정 분석
한국컴퓨터정보학회 학술발표논문집
2021 .01
-
사전 학습된 BERT와 미세 조정된 BERT간의 어텐션 헤드 유사도 분석
한국정보과학회 학술발표논문집
2022 .12
-
이미지 데이터 증강 기술을 활용한 기계학습용 데이터셋 제작
한국통신학회 학술대회논문집
2023 .02
-
한국어 우울증 데이터 증강 기법 비교
한국정보통신학회논문지
2023 .10
-
보조 분류기를 이용한 GAN 모델에서의 데이터 증강 누출 방지 기법
전기전자학회논문지
2022 .06
-
Using Vertical and Horizonal Hidden Vector of BERT, Attention-based Separated Transfer Learning Model for Dialog Response Selection
Journal of KIISE
2021 .01
-
작은 이미지의 효과적인 데이터 증강 기법
한국통신학회 학술대회논문집
2023 .02
-
불용어의 BERT 기반 문장 자동분류기에 대한 영향
한국정보과학회 학술발표논문집
2021 .12
-
속성 기반 감성 분석을 활용한 BERT 감성 분류 모델의 성능 개선
한국정보과학회 학술발표논문집
2022 .12
-
법률 판례 검색을 위한 BERT 및 유사도 기반 모델 연구
Proceedings of KIIT Conference
2023 .11
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-25-02-092160738