상선, 유조선, 여객선, 어선, 군함, 해경함정, 관공선 등 다양한 형태의 선박이 활동하는 영역이 바로 해상이다. 해상에서 마주한 수많은 접촉물 중에서 위협성을 고려할 때 군함을 가장 우선하여 식별하는 것이 중요하다. 해상에서는 각종 감시장비를 활용하여 영상정보를 획득할 수 있으며, 획득된 정보를 분석하여 군함의 함형(ship type), 함정번호(hull number)의 세부정보를 파악하는 것이 매우 중요하다. 이를 활용하여 접촉된 군함을 식별할 수 있으며, 웹페이지에서 해당 군함에 관한 제원, 보유 무장, 탐지 장비 등 추가적인 정보를 확인할 수 있다. 따라서 군함정보 획득의 중요성을 고려하여 해상에서 군함정보를 세부적으로 획득할 수 있는 딥러닝 알고리즘을 활용한 모델을 연구하고 한다. 본 연구에서는 해상의 군함 이미지를 기반으로 한 함형을 분류하고, 함정번호를 인식할 수 있도록 모델을 설계하였으며, 객체탐지와 문자인식에 주로 활용되고 있는 딥러닝 알고리즘을 활용하여 2단계 구조로 구현하였다. 1단계에서는 객체탐지의 최신 알고리즘인 SAM-YOLO v4를 적용하여 함형을 분류하고 함정번호 영역을 탐지한다. 2단계에서는 앞서 탐지된 함정번호 영역의 숫자를 인식하기 위해 문자인식의 알고리즘인 CRNN를 변형하여 적용하였다. 모델의 학습을 위해 공개된 우리나라 군함(10개 함형) 이미지 1,170장을 데이터셋으로 구축하였다. 1단계 객체탐지 알고리즘 학습 시에는 대규모 데이터셋에서 학습된 가중치를 이용하여 전이학습을 통해 모델의 성능을 높였고, 연구결과로 주의 모듈을 사용한 SAM-YOLO v4은 mAP50에서 97.31%를 달성하였다. 2단계 문자인식 알고리즘 학습 시에는 함정번호 영역과 함형 정보를 함께 입력할 때 합성곱 계층을 DenseNet과 CBAM을 변경한 CRNN에서 정확도 86.2%의 성능을 보였다. 또한, 학습된 모델을 바탕으로 입력 군함 이미지에 대해 객체탐지 알고리즘 결과값으로 함형과 함정번호 영역을 동시에 획득한 경우와 함형만 획득한 경우를 구분하여 군함정보를 출력할 수 있도록 시스템 구현 방안 제안하였다. 함형과 함정번호 영역을 동시에 획득한 경우에는 함형과 함정번호를 출력하고, 함형만 획득한 경우에는 함정번호 영역을 재 획득할 수 있도록 함정번호 영역 미획득을 출력한다. 본 연구는 구축한 데이터셋으로 최신의 딥러닝 기술인 객체탐지와 문자인식 알고리즘을 모델에 적용, 시스템을 제시함으로써 해상에서 활용할 수 있는 세부 군함정보를 신속하고 정확하게 획득할 수 있는 가능성을 확인하였다.
The sea is the area where various types of ships such as merchant ships, tankers, passenger ships, fishing boats, warships, coastal ships, and government ships are active. Among the numerous contacts encountered at sea, it is important to identify warships first considering their threat. At sea, image can be obtained using various monitoring equipment and detailed information of the ship type and hull number can be identified by analyzing the obtained image. This can be used to identify the contacted warship, and to obtaine additional information, such as specifications, armament, and sensor, that can be checked on the web page. Therefore, in consideration of the importance of obtaining warship information, a model using a deep learning algorithm that can obtain detailed warship information at sea is studied. In this study, a model was designed to classify ships based on warship images at sea, recognize ship numbers, and implemented in a two-step structure using deep learning algorithms mainly used for object detection and text recognition. In 1-step, SAM-YOLO v4 was applied to classify the mold and detect the hull number area. In 2-step, modified CRNN, an algorithm of text recognition, is applied to recognize the number of the previously detected hull number area. For training proposed model, 1,170 images of Korean warships (10 ship types) were constructed as datasets. In 1-step, the performance of the model was improved through transfer learning using weights learned in large-scale datasets. As a result of the experiment, SAM-YOLO v4 using the attention module achieved mAP50 97.31%. In 2-step, the modified CRNN, which changed convolution layer to DenseNet and CBAM, showed accuracy 86.2% when entering trap number areas and embedded information together. In addition, based on the learned model, the system was proposed to output warship information by dividing two case. When object detection algorithm result have ship type and hull number area, the system output ship type and hull number. When object detection algorithm result has only ship type, The system outputs “the hull number area was not acquired” so that the hull number area can be re-acquired. This study applies the object detection and text recognition algorithm, the latest deep learning technology, to the model and system, that can be acquire the warship information, with the constructed datasets. In this study, the possibility of acquiring quickly and accurately detailed warship information that can be used at sea was confirmed.