지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2023.10
- 수록면
- 15 - 30 (16page)
이용수
초록· 키워드
오류제보하기
근래에 트랜스포머(Transformer) 구조를 기초로 하는 ChatGPT와 같은 생성모델이 크게 주목받고 있다. 트랜스포머는 다양한 신경망 모델에 응용되는데, 구글의 BERT(bidirectional encoder representations from Transformers) 문장생성 모델에도 사용된다. 본 논문에서는, 한글로 작성된 영화 리뷰에 대한 댓글이 긍정적인지 부정적인지를 판단하는 텍스트 이진 분류모델을 생성하기 위해서, 사전 학습되어 공개된 BERT 다국어 문장생성 모델을 미세조정(fine tuning)한 후, 새로운 한국어 학습 데이터셋을 사용하여 전이학습(transfer learning) 시키는 방법을 제안한다. 이를 위해서 104개 언어, 12개 레이어, 768개 hidden과 12개의 집중(attention) 헤드 수, 110M 개의 파라미터를 사용하여 사전 학습된 BERT-Base 다국어 문장생성 모델을 사용했다. 영화 댓글을 긍정 또는 부정 분류하는 모델로 변경하기 위해, 사전 학습된 BERT-Base 모델의 입력 레이어와 출력 레이어를 미세조정한 결과, 178M개의 파라미터를 가지는 새로운 모델이 생성되었다. 미세 조정된 모델에 입력되는 단어의 최대 개수 128, batch_size 16, 학습 횟수 5회로 설정하고, 10,000건의 학습 데이터셋과 5,000건의 테스트 데이터셋을 사용하여 전이 학습시킨 결과, 정확도 0.9582, 손실 0.1177, F1 점수 0.81인 문장 감정 이진 분류모델이 생성되었다. 데이터셋을 5배 늘려서 전이 학습시킨 결과, 정확도 0.9562, 손실 0.1202, F1 점수 0.86인 모델을 얻었다.
목차
요약
Abstract
1. 서론
2. 관련연구
3. 한글 문장 감성 분류모델 생성
4. 성능 평가
5. 결론
References
참고문헌 (0)
참고문헌 신청함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
사전 학습된 BERT와 미세 조정된 BERT간의 어텐션 헤드 유사도 분석
한국정보과학회 학술발표논문집
2022 .12
-
Text classification에 특화 시킨 개선된 BERT 활용 방법론 제안
한국통신학회 학술대회논문집
2021 .02
-
CNN-BiLSTM과 BERT 기반 연구 논문 분류 기법의 설계
Proceedings of KIIT Conference
2023 .06
-
감정 분석을 위한 BERT 사전학습모델과 추가 자질 모델의 결합
한국정보과학회 학술발표논문집
2020 .12
-
미세조정에 의한 BERT 계층의 재학습 양상
한국정보과학회 학술발표논문집
2021 .12
-
Combining Sentiment-Combined Model with Pre-Trained BERT Models for Sentiment Analysis
Journal of KIISE
2021 .07
-
불용어의 BERT 기반 문장 자동분류기에 대한 영향
한국정보과학회 학술발표논문집
2021 .12
-
도메인 특화 사전학습 언어모델 개발 전략: 자동차 분야 언어모델 V-BERT 개발 사례
정보과학회 컴퓨팅의 실제 논문지
2023 .05
-
데이터 증강을 활용한 BERT 언어모델 사전학습
대한산업공학회 추계학술대회 논문집
2020 .11
-
Using Vertical and Horizonal Hidden Vector of BERT, Attention-based Separated Transfer Learning Model for Dialog Response Selection
Journal of KIISE
2021 .01
-
BERT 기반 Variational Inference와 RNN을 이용한 한국어 영화평 감성 분석
정보과학회 컴퓨팅의 실제 논문지
2019 .11
-
BERT, LSTM과 GRU를 사용한 네트워크 이상 탐지 성능 비교
한국통신학회 학술대회논문집
2022 .02
-
BERT 기반 문장 분류모델을 이용한 연구 논문의 추출적 요약
한국정보과학회 학술발표논문집
2023 .06
-
좌충우돌 감성분석 BERT 미세조정 분석
한국컴퓨터정보학회 학술발표논문집
2021 .01
-
Post-training을 이용한 한국어 전이학습 모델에서의 성능 향상
한국정보과학회 학술발표논문집
2021 .06
-
BERT 기반 교통사고 비정형 데이터 분류 모델 개발
대한교통학회 학술대회지
2022 .04
-
감성 및 감정 단어 마스킹 기반 BERT와 GPT 파이프라인 방식을 통한 감정 문장 생성
한국정보기술학회논문지
2021 .09
-
BERT의 계층에 따른 임베딩 벡터의 의미 분석
한국정보과학회 학술발표논문집
2021 .12
-
BERT 기반 모델에서의 부정적 감정 식별을 위한 감성 대화 분석 기법에 관한 연구
한국통신학회 학술대회논문집
2025 .02
-
데이터 증강을 이용한 BERT 분류 모델 성능 향상
한국지능시스템학회 논문지
2024 .12
이 논문의 저자 정보
이 논문과 함께 이용한 논문
CNN-BiLSTM과 BERT 기반 연구 논문 분류 기법의 설계
비스와스 딥또
,
길준민
Proceedings of KIIT Conference
2023
.06
KcBert-based Movie Review Corpus Emotion Analysis Using Emotion Vocabulary Dictionary
장연지
,
최지선
,
김한샘
Journal of KIISE
2022
.08
KoBERTSEG: 한국어 BERT를 이용한 Local Context 기반 주제 분리 방법론
소규성
,
이윤승
,
정의석
외 1명
대한산업공학회지
2022
.04
미세조정에 의한 BERT 계층의 재학습 양상
김가연
,
이재영
,
김영훈
한국정보과학회 학술발표논문집
2021
.12
외부 지식이 반영된 BERT를 활용한 검색 기반 대화 시스템
한장훈
,
고영중
,
서정연
정보과학회 컴퓨팅의 실제 논문지
2021
.12
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-24-02-088307326