본 논문에서는 기계학습을 활용하여 열화상 이미지를 대상으로 하는 블러 이미지 분류에 관한 연구를 진행하였다. 정상적인 이미지와 흔들림, 아웃포커싱이 발생된 총 3가지의 경우로 데이터셋을 분류하고 학습을 수행하였다. 데이터셋은 전원 접지부, 스위치 허브, 배터리, 3D프린터 노즐 등 각종 열발생 기계장비 14개를 대상으로 FLIR 열화상 카메라를 통해 구축되었다. 다양한 설비에 대하여 대량의 데이터셋을 구축하기 어려운 문제를 해결하기 위하여 동영상 촬영 후 프레임 단위 분할방식을 통해 대량의 데이터셋을 구축하였다. 아웃포커싱이 발생된 데이터셋은 동영상 촬영시 발생된 실제 데이터로 구성되었으며, 흔들림 데이터는 동영상 촬영시 발생된 데이터와 이미지 노이즈 적용변환을 통해 인공적으로 생성된 데이터를 추가해 데이터셋을 구축하였다. 전체 데이터셋의 개수는 24544개이며 흔들림 데이터는 9550개, 아웃포커싱은 6566개, 정상 데이터는 8428개를 활용하였다. 기계학습을 활용한 이미지 분류 비교실험을 위해 먼저 Support Vector Machine(이하 SVM)을 활용하여 학습을 수행하였다. SVM은 훈련데이터와 테스트데이터의 비율을 전체에서 7:3으로 나누어 실험하였으며, 실험 결과 정확도는 약 85%정도를 나타내었다. 심층신경망기반 모델을 이용하여 실험을 진행할 때는 훈련데이터와 테스트데이터의 비율을 전체에서 약 7:3으로 나눈 것, 그리고 서로 다른 설비 11개와 3개로 온전히 나눈 것 두가지의 데이터셋으로 학습을 진행하였다. 테스트 데이터셋에 대한 정확도는 전체로 나누었을때의 정확도가 평균 99%정도로 더 높게 나타났으며, 서로 다른 설비로 나누었을 때는 VGGnet은 약 70%대, ResNet과 Xception은 평균 90%정도에서 최대 약 94%의 정확도를 나타내었다. 본 연구를 통해 개발된 시스템은 안전점검 작업자가 기존에 수동으로 분류하던 부적합 이미지분류를 자동화하며, 추후 스마트팩토리 시스템 구축을 위한 자동화된 예측진단 시스템 연구개발시 데이터셋 구축을 위한 전처리단계에서, 데이터셋으로 활용하기 부적합한 이미지를 걸러내고 양질의 데이터셋을 구축하는데 활용된다.
In this paper, we researched the classification of blur images based on thermal images using machine learning. Datasets were classified in three cases: normal image, motion-blur, and out-of-focus. The dataset was constructed using FLIR thermal cameras for 14 types of heat-generating mechanical equipment such as a power ground, switch hub, battery, and 3D printer nozzle. In order to solve the problem that it is difficult to build a large amount of datasets for various facilities, a large amount of datasets were stored through video frame division. The out-of-focus image dataset was constructed from real data, and the motion blur data was constructed by adding real data and artificially generated data through image transformation. The total number of datasets is 24544, the motion-blur data is 9,550, the out-of-focus data is 6,566 and the normal data is 8,428. For comparison experiments on image classification using machine learning, the first training was conducted using SVM(Support Vector Machine). SVM was trained by dividing the ratio of training data and test data by 7:3, and the accuracy was about 85%. When experimenting using the deep neural network-based model, the training was conducted with two datasets: the ratio of the training data and the test data divided by about 7:3 in total and completely divided into 11 and 3 different facilities. The accuracy of the test dataset was higher than the average of 99% when divided as a whole, and when divided into different facilities, VGGnet was about 70% and ResNet and Xception averaged about 90%, and maximum accuracy was about 94%. The system developed in this research automatically classifies blur images that were previously manually classified by safety inspection workers. Also, when developing an automated predictive diagnostic system for a smart factory system, it is used to filter out inappropriate images and build high-quality datasets in the pre-processing stage for dataset construction.
제 1 장 서론 11.1 연구동기 11.2 연구목표 21.3 논문의 구성 4제 2 장 배경지식 및 관련 연구 52.1 스마트팩토리와 이상진단 52.2 Blur Classification 관련 연구 62.2.1 이미지내 객체 가장자리 검출 62.2.2 기계학습을 활용한 Blur Classification 82.2.2.1 Support Vector Machine 82.2.2.2 심층신경망 10제 3 장 데이터셋 구축 및 기계학습 모델 적용 163.1 데이터 전처리 및 변환을 통한 데이터셋 구축 163.1.1 프레임 단위 추출을 통한 열화상 데이터셋 구축 163.1.2 이미지 변환을 통한 데이터 증감 193.1.3 구축된 데이터셋 정보 213.2 제안하는 기계학습 모델 233.2.1 Support Vector Machine 모델 233.2.1.1 입력 데이터 구성 233.2.1.2 Support Vector Machine 253.2.2 심층 신경망 모델 263.2.2.1 입력 데이터 구성 263.2.2.2 VGGnet 273.2.2.3 ResNet 293.2.2.4 Xception 30제 4장 실험 및 분석 314.1 실험 환경 및 실험 314.2 실험결과 내용 및 분석 324.2.1 SVM 실험 결과 324.2.2 SVM 실험 분석 354.2.3 심층신경망 모델 실험 결과 364.2.4 심층신경망 모델 실험 분석 39제 5 장 결론 및 향후 연구 415.1 결론 415.1.1 장점과 단점 415.1.2 향후 블러이미지 분류 모델 연구 42참고문헌 43