메뉴 건너뛰기
.. 내서재 .. 알림
소속 기관/학교 인증
인증하면 논문, 학술자료 등을  무료로 열람할 수 있어요.
한국대학교, 누리자동차, 시립도서관 등 나의 기관을 확인해보세요
(국내 대학 90% 이상 구독 중)
로그인 회원가입 고객센터 ENG
주제분류
인문학
인문학 일반 역사학 철학 종교학 어문학 기타 인문학
사회과학
사회과학 일반 경영학 관광학 교육학 군사학 문헌정보학 법학 사회학 신문방송학 심리과학 정치외교학 지리학 행정학 경제학 무역학 인류학 기타 사회과학
자연과학
자연과학 일반 물리학 생물학 생활과학 수학·통계학 천문학 지구과학 화학 기타 자연과학
공학
공학 일반 건축공학 기계공학 산업공학 재료·에너지공학 전기전자공학 조선해양공학 화학공학 컴퓨터학 기타공학
의약학
의학 일반 간호학 수의학 약학 한의학 기초의학 임상의학 기타 의약학
농수해양학
농수해양학 일반 농학 수산학 식품과학 임학 축산학 해상운송학 기타 농수해양학
예술체육학
예술 일반 디자인 미술 미용 사진 음악학 의상 체육 공연매체예술 기타 예술체육학
복합학
학제간연구 과학기술학 뇌인지과학 기술정책 기타 복합학

ENG

추천
검색
질문

논문 기본 정보

자료유형
학술저널
저자정보
민진우 (전북대학교) 나승훈 (전북대학교) 김현호 (네이버) 김선훈 (네이버) 강인호 (네이버)
저널정보
Korean Institute of Information Scientists and Engineers 정보과학회 컴퓨팅의 실제 논문지 정보과학회 컴퓨팅의 실제 논문지 제28권 제3호
발행연도
2022.3
수록면
175 - 183 (9page)
DOI
10.5626/KTCP.2022.28.3.175

이용수

표지
📌
연구주제
📖
연구배경
🔬
연구방법
🏆
연구결과
AI에게 요청하기
추천
검색
질문

이 논문의 연구 히스토리 (5)

2022

LUKE를 이용한 한국어 자연어 처리: 개체명 인식, 개체 연결
민진우 ,  나승훈 ,  김현호 외 2명 정보과학회 컴퓨팅의 실제 논문지 2022.03 학술저널

2021

기계독해 기반 한국어 개체명 인식
민진우 ,  나승훈 ,  신종훈 외 2명 한국정보과학회 학술발표논문집 2021.12 학술대회자료
LUKE를 이용한한국어 자연어 처리: 개체명 인식, 개체 연결
민진우 ,  나승훈 ,  김현호 외 2명 한국정보과학회 학술발표논문집 2021.06 학술대회자료

2019

RoBERTa를 이용한 한국어 자연어처리: 개체명 인식, 감성분석, 의존파싱
민진우 ,  나승훈 ,  신종훈 외 1명 한국정보과학회 학술발표논문집 2019.12 학술대회자료
한국어 개체명 인식 & 링킹 & 의존파싱 통합모델
민진우 ,  나승훈 ,  신종훈 외 1명 한국정보과학회 학술발표논문집 2019.12 학술대회자료

초록· 키워드

오류제보하기
BERT와 같은 트랜스포머 기반의 언어 모델은 대용량의 레이블이 없는 말뭉치를 자가 학습방법을 통해 학습한 후 다양한 자연어 처리 응용 태스크에 적용하여 놀라운 성능 향상을 보였다. 이와 같은 언어 모델은 실세계 지식 정보를 표현할 수 없는 단점이 존재하고 이러한 문제를 해결하기 위해 언어모델에 지식 베이스를 반영하려는 다양한 연구들이 수행되었다. 본 연구에서는 단어 시퀀스 이외에 엔티티시퀀스와 임베딩을 정의하고 단어와 엔티티의 모든 시퀀스 쌍에 따라 별도의 쿼리 파라미터를 두고 셀프어텐션을 수행하는 LUKE 모델을 한국어 위키피디아 상에서 학습한 후 엔티티 관련 태스크인 개체명 인식, 개체 연결에 적용하여 기존의 RoBERTa 기반 모델 대비 각각 0.5%p, 1.05%p의 성능 향상을 가져왔다.
#지식 증강 언어 모델 #개체명 인식 #개체 연결 #entity-aware 셀프 어텐션 #knowledge-enhanced language model #LUKE #named entity recognition #entity linking #BERT #RoBERTa #entity-aware self-attention

목차

요약
Abstract
1. 서론
2. 관련 연구
3. 모델
4. 응용 태스크
5. 실험
6. 결론
References

참고문헌 (22)

참고문헌 신청
Matthew Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. 2018. Deep contextualized word representations. In North American Association for Computational Linguistics (NAACL). google schola Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of deep bidirectional transformers for language understanding. In NAACL-HLT. google schola Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach. arXiv preprint arXiv:1907.11692, 2019. Matthew E. Peters, Mark Neumann, Robert Logan, Roy Schwartz, Vidur Joshi, Sameer Singh, and Noah A. Smith. 2019. Knowledge Enhanced Contextual Word Representations. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 43-54. google schola Fabio Petroni, Tim Rocktaschel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, Alexander H Miller, and Sebastian Riedel. 2019. Language Models as Knowledge Bases? In EMNLP, pages 2463-2473. google schola

함께 읽어보면 좋을 논문

논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!

이 논문의 저자 정보

이 논문과 함께 이용한 논문

인공지능 시대의 언어학 이론의 기반, Firth(1957)의 이론과 21세기 언어학의 창조적 수용 양상
최준 ,  남길임 동서인문 2021 .04
DyLex를 이용한 한국어 개체명 인식
강대욱 ,  나승훈 ,  김태형 외 2명 한국정보과학회 학술발표논문집 2022 .06
Attention과 RNN을 이용한 생물의학 문헌에서의 중첩된 개체명 인식
이순호 ,  노미나 한국정보과학회 학술발표논문집 2021 .12
KoBERT 기반 한국어 시나리오 개체명 인식 모델 성능과 한국어 조사의 관계 분석
이녕우 ,  최호진 한국정보과학회 학술발표논문집 2021 .06
자연어처리 기술을 활용한 유튜브 악성 댓글 자동 블라인드 시스템
이재은 ,  이지은 ,  임예희 외 2명 한국HCI학회 학술대회 2022 .02

최근 본 자료

전체보기

댓글(0)

0