국내 프로 스포츠 구단들은 모기업의 홍보와 사회공헌을 위해 적자를 감 수하고 운영하는 경우가 대부분이였다. 하지만, 프로 축구단 인천 유나이티 드 FC, 프로 야구단 키움 히어로즈, 롯데 자이언츠, 두산 베어스 등 일부 프로 스포츠 구단들은 모기업의 홍보와 사회공헌의 목적을 달성하면서 흑자 를 기록하였다[1]. 최근 들어, 코로나-19로 인해 무관중으로 진행되면서 프 로 스포츠 구단들은 팀 내 연봉, 운영비 등의 지출은 줄임과 동시에 좋은 성적을 기록하여 매출을 극대화시키는 방법으로 구단을 운영하고 있다[2].
대부분의 프로 스포츠 구단들은 성적 향상을 위해 데이터 분석이나 영상 분석 등 다양한 분석 방법을 진행하고 있다. 최근에는 영상 처리기술이 발 달함에 따라 과거 경기 영상을 분석하여 상대방의 장단점을 파악하고 이를 이용하여 경기력 향상에 도움을 주기 위한 전략을 수립하고 있다[3]. 또한, 초고속 카메라로 수집된 영상과 딥러닝을 통해 선수의 움직임을 분석하고, 움직임에서 선수의 속도, 이동거리 등을 추출하는 방법도 사용되고 있다. 그리고 미국프로야구에서는 스탯캐스트(Statcast)와 같은 영상분석 기술을 야구에 접목하여 선수들의 움직임과 투구 등을 분석하여 경기력 향상을 위 해 활용하고 있다[4].
야구는 선수들의 플레이에 따라 다양한 종류의 기록이 중복되어 발생한 다. 예를 들어, 투수가 던진 공을 타자가 타격하고, 타격한 공을 수비수가
-1-
잡아서 처리하는 경우, 투수, 타자, 수비에 각각 기록된다. 따라서 하나의 야구 경기 영상에서 투수, 타자, 수비를 구분하면서, 기록, 이벤트 등과 같 은특정기준에따라효과적으로영상을분류하고검색하기위한기법이필 요하다.
최근 특정 장면을 효과적으로 검색하기 위하여 딥러닝(Deep Learning) 기 법과 소셜 미디어의 스트리밍 데이터를 이용한 연구가 활발하게 진행되고 있다[5-13]. 권명규 등은 CNN(Convolution Neural Network)을 이용하여 영 상 내에서 주인공을 인식하여 특정 영상을 검색하는 기법을 제안하였다[5]. 또한, Jenny Feng은 소셜 미디어에서 스트리밍 데이터와 작성 시간을 분석 하여 경기 중계 영상과 연계하여 검색하는 기법을 제안하였다[6]. 김윤우 등은 온라인 시청자들의 실시간 채팅 데이터를 분석하여 선수 별 영상 구간을 추출 하는 SeeStar 시스템을 제안하였다[7]. 이한송은 딥러닝을 이용한 SNS 사진과 심리 적 성향의 관계를 분석하는 기법을 제안하였다[8].
CNN(Convolution Neural Network)을 이용하여 영상 내에서 주인공을 인식 해 특정 장면을 검색하는 기법은 얼굴인식을 기반으로 구성되어 특정 동작 이나 이벤트 검색이 어렵다. 또한 소셜 미디어에서 스트리밍 데이터와 작성 시간을 분석하여 경기 중계 영상과 연계하여 검색하는 기법은 독립적으로 관리되는 영상이나 소셜 네트워크 데이터가 없는 경우에는 적용하기 어려운 문제점이 있다. 마지막으로 실제 경기 기록과의 연동이 어려워 구단 성적 향상을 위한 활용에는 한계가 있다.
-2-

본 연구에서는 CNN 모델을 이용하여 야구 경기 영상에서 투구 동작을 학 습/분류하고, 분류 결과를 경기 기록과 맵핑하여 경기 기록 기반의 영상 검 색모델을제안하였다.제안모델은크게투구동작분류모델과경기정보 추출모델그리고경기기록맵핑모델로구성된다.투구동작분류모델은 먼저 경기 영상을 특정 시간 간격으로 이미지 분할하고,분할된 이미지를 Google Inception V3 모델을 이용하여 학습하였다. 이후, 학습된 모델에 저 장된투구동작이미지와신규이미지를비교하여투구동작이포함되어있 을 확률에 따라 분류하였다. 경기 정보 추출 모델은 투구 동작 이미지에서 스코어보드, 점수, 이닝, 볼카운트, 아웃카운트 등 해당 투구 동작 당시 경 기정보를추출한다.경기기록맵핑모델은경기정보추출모델에서추출 된 이미지의 경기 정보와 경기 기록을 맵핑한다. 이를 통해 해당 이미지에 해당하는 장면에서 발생한 기록과 기록 대상 선수 등을 기록 또는 선수 명 을 활용하여 장면 검색을 진행한다.
본 논문에서 제안한 모델은 경기 투구 동작 추출하기 위하여 CPU Intel i5, GPU geforce 1080Ti 환경에서 google Inception-V3 모델을 사용하였다. 기초 데이 터 수집은 2018년 ~ 2020년 한국 프로야구 방송영상을 FFmpeg을 이용하여 이미지 로 분할하였다. 분할된 이미지에서 투구 동작 이미지 약 4000장을 기초 데이터로 사용하였다. 기초 모델 생성후 모델의 정확성 향상을 위해 약 40000만장의 투구 이 미지를 재학습 하였다. 마지막으로 추출된 투구 이미지에서 경기 정보를 추출하기 위해 Python Open CV를 이용하였다. 추출 된 경기 정보와 경기 정보를 맵핑하기 위 하여 JAVA application을 사용하였다.
-3-

실험 결과 투구 동작 분류 모델 실험에서는 경기 당 약 90.5%의 분류 정 확도를 보였다. 정확하게 분류되지 않은 9.5%는 견제, 투수 보크, 타임 요 청과 같이 비정상적으로 실행되지 않은 투구 동작이 대부분이였다. 그리고 경기 정보 추출 모델 실험에서는 경기 당 약 88.2%의 정확도를 보였다. 정 확하게 분류되지 않은 11.8%는 투구 동작 이후 스코어보드판이 출력되는 경 우, 도형으로 이뤄진 볼카운트, 아웃카운트의 경우 영상 화질로 인해 도형 경계 영역이 모호하게 분류된 경우가 대부분이였다.
본 논문에서는 CNN 모델을 이용하여 야구 경기 영상에서 투구 동작을 학 습/분류하고, 분류 결과를 경기 기록과 맵핑하여 경기 기록 기반의 영상 검 색 모델을 제안하였다. 제안한 모델은 야구 경기 영상에서 선수명, 경기기 록 등의 키워드를 통해 영상을 검색하는데 활용 가능하다. 또한, 야구 경기 에서경기력향상을위한전략수립에효과적으로사용할수있으리라기대 한다.향후본논문에서는투수의다양한투구동작과경기영상내에서특 정 동작들을 다양하게 추가적으로 학습하여 보다 정확하고 다양한 동작을 추출하여경기기록과맵핑할수있는추가적인연구가필요하다.