본 연구는 한국어 말하기 숙달도 평가에 참여한 채점자들의 채점 경향을 분석하고 채점 과정에서 나타나는 채점자의 행동 특성을 살펴보는 것을 목적으로 한다. 채점자들의 채점 엄격성 및 채점 일관성, 채점 편향성 등의 채점 경향을 파악하기 위해서 6명의 채점자가 한국어 말하기 숙달도 평가를 채점한 자료를 다국면 라쉬 모형을 이용하여 분석하였다. 그리고 채점 과정에서 나타나는 채점자의 행동 특성을 파악하기 위해서 채점자 6명을 대상으로 포커스 그룹 인터뷰를 실시하여 그 내용을 분석하고 분류하였다.
다국면 라쉬 모형을 통해 살펴본 채점 신뢰도 분석 결과는 다음과 같다. 채점자 간 신뢰도 측면에서 채점자 간 채점 엄격성의 차이는 채점이 거듭되면서 줄어드는 양상을 보였으나 통계적인 차이는 사라지지 않았다. 그리고 채점자 내 신뢰도의 측면에서 채점 일관성은 채점자와 채점 차시에 따라 다르게 나타났다. 채점자들 중 가장 안정적인 일관성을 보인 채점자는 [채점자1]과 [채점자3]이었으며 [채점자2]는 세 번의 채점에서 부적합과 적합, 과적합 등 채점 차시에 따라 모두 다른 채점 경향을 보였다. 그리고 1, 2차 채점에서 과적합 경향을 보였던 [채점자4]는 3차 채점에서는 적합한 경향으로 수정되었고 1, 2차 채점에서 일관된 채점 경향을 보였던 [채점자5]와 [채점자6]은 3차 채점에서는 각각 약간의 과적합과 부적합 경향을 보였다. 이러한 결과는 채점자 훈련을 통해 채점자 간 차이를 줄일 수는 있으나 완전히 제거할 수는 없다는 선행연구나 원어민이거나 교육 경력이 많은 채점자라도 하더라도 일관되게 채점하는 것은 아니라는 선행연구의 결과와 동일했다. 그리고 채점 편향성은 채점자의 채점 일관성이 통계적으로 적합하더라도 유의미한 결과가 분석되었으며 이는 평가구인, 평가문항, 응시자 등과의 상호작용에서 모두 나타났다. 분석된 편향의 결과는 채점자에 따라 상이한 양상을 보였으며 평가문항의 경우는 난이도가 높은 고급 수준의 문항에서 가장 많이 나타났고 응시자의 경우는 숙달도가 낮은 경우가 비교적 많았다.
포커스 그룹 인터뷰를 통해 살펴본 채점자의 행동 특성은 채점 과정, 채점 조건, 채점자 특성, 채점자 훈련 등의 범주로 나누어 볼 수 있었다. 개별 채점자의 채점 행동 특성을 중심으로 보면, [채점자1]은 유창성 구인 내에서 발음을 함께 채점하는 데 대해 난해함이 있었음을 언급했고 이는 통계 분석 결과에서도 유창성에 대한 엄격성이 채점 차시에 따라 점차 높아지는 양상으로 나타났다. 그러나 [채점자1]은 과제수행에 대해서는 엄격하게, 정확성에 대해서는 관대하게 채점하는 경향에 대해서 알지 못했는데 편향성 결과를 본 후에 한국어능력시험 쓰기 채점의 영향인 것 같다고 설명했다. [채점자2]는 1차와 3차 채점에서 각각 과적합과 부적합 경향을 보였으나 그와 같은 채점 경향의 원인에 대해서 채점자 본인은 알지 못했다. 여러 채점 자료를 복합적으로 참고하여 채점한 과정을 고려할 때 [채점자2]는 채점 자료를 참고하는 과정에서 평가기준을 충분히 내재화하지 못하고 채점한 것으로 추정된다. 그리고 정확성 구인에 대한 편향을 보인 [채점자3]은 유창성과 정확성 구인의 변별에 대한 난점을 언급했고 나름의 기준을 세워 채점했음을 밝혔다. 유창성과 정확성을 변별하는 과정에서 응시자 발화를 발음의 오류보다는 문법이나 어휘 사용의 오류로 판정하는 사례가 많았던 것으로 판단된다. 1, 2차 채점에서 과적합 경향이 나타난 [채점자4]는 영어 숙달도 평가 기준을 한국어 평가에 적용함으로써 다른 채점자들과는 다른 평가척도를 사용한 데 따른 것이었다. 3차 채점에서 과적합 경향을 보인 [채점자5]는 상대적으로 길었던 채점 기간으로 인해 채점에 대한 집중력이 분산되어 나타난 것으로 추정된다. 그리고 부적합 경향이 나타난 [채점자6]은 채점 분량 및 채점 기간에 따른 피로도와 함께 평가문항과 특정 응시자 집단에 대한 편향의 영향이 있었던 것으로 보인다.
이와 같은 결과를 바탕으로 본 연구에서는 한국어 말하기 숙달도 평가와 채점자 훈련과 관련된 시사점을 제안했다. 이 연구는 한국어교육 평가 관련 논문으로서 양적 연구 방법과 질적 연구 방법을 통해 말하기 숙달도 평가 과정에서 나타난 개별 채점자의 채점 경향과 행동 특성을 밝혔다는 점에서 연구의 의의가 있다. 한국어교육 평가 분야에서 채점자와 관련된 연구는 시작 단계에 있으므로 본 연구의 결과는 한국어 말하기 평가의 채점자 연구와 채점자 훈련을 위한 기초 자료로 사용될 수 있을 것이다.