지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
초록· 키워드
오류제보하기
The present study reports on three language processing experiments with most up-to-date neural language models from a psycholinguistic perspective. We investigated whether and how discourse expectations demonstrated in the psycholinguistics literature are manifested in neural language models, using the language models whose architectures and assumptions are considered most appropriate for the given language processing tasks. We first attempted to perform a general assessment of a neural model’s discourse expectations about story continuity or coherence (Experiment 1), based on the next sentence prediction module of the bidirectional transformer-based model BERT (Devlin et al. 2019). We also studied language models’ expectations about reference continuity in discursive contexts in both comprehension (Experiment 2) and production (Experiment 3) settings, based on so-called Implicit Causality biases. We used the unidirectional (or left-to-right) RNN-based model LSTM (Hochreiter and Schmidhuber 1997) and the transformer-based generation model GPT-2 (Radford et al. 2019), respectively. The results of the three experiments showed, first, that neural language models are highly successful in distinguishing between reasonably expected and unexpected story continuations in human communication and also that they exhibit human-like bias patterns in reference expectations in both comprehension and production contexts. The results of the present study suggest language models can closely simulate the discourse processing features observed in psycholinguistic experiments with human speakers. The results also suggest language models can, beyond simply functioning as a technology for practical purposes, serve as a useful research tool and/or object for the study of human discourse processing.
목차
ABSTRACT
1. Introduction
2. Experiment 1: BERT’s Evaluation of Discourse Coherence
3. Experiment 2: LSTM’s Reference Expectations in Comprehension
4. Experiment 3: GPT-2’s Choice of Reference in Next Sentence Production
5. Conclusion
References
참고문헌 (0)
참고문헌 신청함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
(AL)BERT Down the Garden Path: Psycholinguistic Experiments for Pre-trained Language Models
영어학
2022 .01
-
표준어 정책에 대한 비판적 담화 연구: 기사에 달린 댓글을 중심으로
담화와인지
2023 .02
-
말을 두고 말해본다
중국조선어문
2017 .03
-
Psycholinguistic approaches to computational language models
담화·인지언어학회 학술대회 발표논문집
2021 .11
-
Investigating Syntactic Interference Effects in Neural Language Models for Second Language Acquisition
영어학연구
2024 .02
-
일본어의 복수 표지 ‘-たち’의 사용 범위 확대에 대한 고찰 ―트랜스 동아시아적 예비 분석도 겸하여―
일본문화학보
2023 .02
-
매체 언어 연구의 성과와 과제: ≪사회언어학≫ 수록 논문을 중심으로
사회언어학
2020 .01
-
언어를 들여다보는 렌즈로서의 담화
언어학
2020 .12
-
Implicit Causality and Discourse Relations in Korean
언어
2019 .03
-
사전학습 언어모델의 기술 분석 연구
인문언어
2020 .01
-
The Effects of Language Difference on L2 Learners’ Language Performance
미래영어영문학회 학술대회 자료집
2017 .12
-
Investigating Syntactic Transfer from English to Korean in Neural L2 Language Models
현대문법연구
2024 .03
-
국어교육에서의 언어정체성과 문법 교육의 역할
국어교육연구
2016 .06
-
코퍼스와 딥러닝 언어 모델을 활용한 문장 처리의 예측성과 행동 반응 시간과의 관계 연구
영어학
2020 .03
-
레비나스의 타자윤리로 본 매그위치와 미스 해비셤의 부모 되기 : 찰스 디킨즈의 『위대한 유산』
19세기 영어권 문학
2019 .03
-
의학과 법, 그리고 억압과 감금 : 『제인 에어』와 『위대한 유산』을 중심으로
19세기 영어권 문학
2016 .02
-
한중 담화표지 대조연구 : 개념과 특징을 중심으로
언어학 연구
2018 .07
-
‘언어의 소외’와 ‘과학적’ 언어 연구의 (불)가능성에 대하여 ?1920~1930년대 조선어 연구를 중심으로?
개념과 소통
2022 .06
-
Neural Network Language Models as Psycholinguistic Subjects: Focusing on Reflexive Dependency
언어학
2022 .12
-
언어 패러다임의 변화와 지역어의 가능성에 대한 시론
코기토
2023 .10
이 논문의 저자 정보
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0