본 연구는 단안 카메라를 이용하여 운전상황에서 발견되는 여러 사물들과 차선을 안정적으로 검출하고 실시간성을 보장할 수 있는 연구를 진행하였다. 도로에서 검출될 수 있는 물체는 교통 표지판, 신호등, 차량, 보행자로 선정하였고 차선은 4 종류로 분류하여 학습하였다. 또한 차선을 안정적으로 검출하기 위하여 기존에 연구되었던 Lane-Curve Function (LCF)을 개선하여 성능을 향상시켰다. 도로 위 사물 검출은 Region Proposal Network (RPN) 기반의 Faster Region Convolutional Neural Network Model 과 Support Vector Machine (SVM) 분류기를 함께 사용하여 인식 성능을 향상시키고 오탐율 (False Positive Rate)을 낮추었다. 또한, 저조도 환경에서 인식 성능을 개선하기 위하여 입력 영상에 정규화
필터와 Gamma Value 에 대한 보정 함수를 적용하였다. 그리고 기존 연구들에서 제안한 Deep Learning 모델들을 기반으로 성능을 분석하고 Backbone Network 을 선정하였다. 선정된 모델은 ZFNet, GoogLeNet, ResNet 중 ZFNet 으로 선정하였고 ZFNet 기반의 Faster RCNN Model 을 구현하고 학습하여 물체를 검출하였다. 그리고 Faster RCNN 모델의 검출 오탐율을 줄이기 위하여 이미지 내부에서 검출되는 4 종류의 물체에 대한 위치들을 SVM 분류기를 설계하여 위치 기반의 Filtering 를 적용하였다. 본 연구에서는 이 알고리즘을 Hybrid Faster RCNN-SVM 으로 명칭을 정의하였다. 4 종류의 물체는 교통표지판 51 종, 신호등 3 종, 차량과 보행자는 각각 1 종으로 분류하였다. 본 연구의 평가는 기존 모델 대비 Hybrid Faster RCNN-SVM 기반의 모델 성능을 비교하여 개선 효과를 확인하였다. 그 결과 기존 학습 모델들 대비 본 연구에 대한 알고리즘의 정확도는 평균 약 5.8% 높았으며 오탐률 (False Positive)은 평균 약 31.4%, 미탐율 (False Negative) 은 평균 약 38.3% 감소하였다. 그리고 Detector 와 Tracker 를 적용하여 알고리즘의 처리속도를 개선하고 최적화를 진행하였다. Tracker로 사용한 알고리즘은 Median Flow Tracker 을 적용하였으며 최적화 진행 후 알고리즘의 처리 속도는 기존 Detector 만 사용했을 때 보다 평균 약 76.5% 이상 처리 속도가 향상되었고 정확도는 유지됨을 확인할 수 있었다. 도심지 차선 검출은 라인의 위치와 종류로 분류될 수 있다. 따라서 본 연구에서는 차선의 라인을 검출하기 위하여 기존에 연구되고 있는 Curved Lane Detection 알고리즘을 사용하였다. 그리고 성능을 개선하기 위하여 Hybrid Faster RCNN-SVM 결과를 입력 파라미터로 사용하였다. 그 결과 도심지 차선 검출에서 흰색과 주황색 등의 차량으로 인한 차선
검출 에러를 개선할 수 있었다. 또한 Central Processing Unit (CPU)과 Graphics Processing Unit (GPU)의 Resource 를 최대한 사용하기 위하여 Curved Lane Detection 알고리즘은 CPU 에서 연산하고 Hybrid Faster RCNN-SVM 알고리즘은 GPU와 CPU 에서 연산 처리될 수 있도록 시스템을 Thread 로 설계하여 실시간성을 보장할 수 있도록 하였다. 차선의 Marking 분류는 4 가지 종류로 나누어 학습하였다. 기존의 연구들은 차선의 Edge를 검출하고 Hough Transform 방법 등을 사용하여 차선의 종류를 판단했다면 본 연구에서는 카메라에 입력된 차량 앞의 이미지를 학습하여 End to End (E2E) Learning 방식으로 차량 주변 차선의 Marking 종류를 구분하였다. 그리고 후처리 프로세싱으로 Kalman Filter 를 적용하여 차선의 연속성과 빈번한 차선 변경이 없음에도 발생하는 오탐률을 줄 일수 있게 하였다. 기존 대비 End to End
(E2E) Learning 방식의 장점은 GPU 를 사용하기 때문에 CPU 에서 처리되는 연산량을 줄일 수 있으며 처리 속도를 향상시킬 수 있다. 또한, 다양한 학습 데이터가 많을수록 환경 적응력에 강한 결과를 얻을 수 있다. 그 결과 기존 Edge 검출을 통한 차선 Marking 분류 방식과 비슷한 성능을 보였으며 정확도는 평균 약 93%의 결과를 보였다. 또한, Linear-parabolic Model 을 사용한 연구에서는 Resolution 을 최소 600×800 을 사용하였을 때 165.65ms 의 처리 속도를 보였지만 본 연구에서는 Resolution을 1280(H)×960(W)으로 입력 Resolution 이미지를 사용하였을 때 약 33ms 로 처리되기 때문에 기존 연구보다 본 연구에서 진행한 CNN 기반의 End to End 방식으로 분류하면 더 빠른 속도로 차선 Marking 을 분류할 수 있었으며 유의미한 결과를 확인할 수 있었다.

In this study, the monocular camera was used to reliably detect various objects and lanes found in driving conditions and to guarantee real-time. Objects that can be detected on the road are traffic signs, traffic lights, vehicles, and pedestrians, and Lanes are classified and learned into four categories. In addition, in order to stably detect lanes, the curvature lane detection function that has been studied previously has been modified to improve performance. Object detection on the road combines the Region Proposal Network (RPN) based Faster Region Convolutional Neural Network (RCNN) Model with the Support Vector Machine (SVM) classifier to improve recognition performance and reduce false positives. Also, in order to improve the recognition performance in the low light environment, a normalization filter and a correction function for the gamma value are applied to the input image. Based on the deep learning models proposed in the previous studies, we analyzed the performance and selected the base model. The selected model was selected as ZFNet among ZFNet, GoogLeNet and ResNet, and the object was detected by implementing and learning ZFNet based Faster RCNN Model. In order to reduce the false positive rate of the Faster RCNN model, this study applied the location-based filtering by designing the SVM classifier for the positions of four types of objects detected in the image. In this study defined this algorithm as Hybrid Faster RCNN-SVM. The four class of objects were classified into 51 types of traffic signs, 3 types of traffic lights, and 1 type of vehicles and pedestrians. The
evaluation of this study confirmed the improvement effect by comparing the performance of Hybrid Faster RCNN-SVM based model with the existing model. As a result, the accuracy of the algorithm for this study was 5.8% higher than existing learning models, and the false positive averaged about 31.4% and the false
negative averaged about 38.3%. And this study was applied detector and tracker to improve the processing speed and optimize the algorithm. The algorithm used as the tracker was the median flow tracker, and the optimization is performed. As a result, the processing speed of the algorithm was about 76.5%
higher than used the existing detector alone. Urban lane detection was classified by line location and type.
Therefore, this study improved the performance of the curvature lane detection algorithm that has been studied in order to detect lane lines. This algorithm used the hybrid faster RCNN-SVM result as input parameter. As a result, this algorithm improved curve lane detection errors caused by vehicles such as white and orange in the detection of urban lanes. In order to make full use of the resources of the Central Processing Unit (CPU) and the Graphics Processing Unit (GPU), the Curvature Lane Detection Algorithm was computed on the CPU and the hybrid faster RCNN-SVM algorithm was designed as system of thread method
to operate on the GPU and the CPU. As a result, the algorithm was able to guarantee real time. The types of lanes were classified into four types. Existing studies have detected lane edges and determined the type of lanes using the Hough Transform method, In this study, the type of lanes around the vehicle was classified by End to End (E2E) learning method by learning the image of the front of the vehicle. In addition, Kalman Filter was applied as post-processing to reduce the false positive rate that occurs even when there was not frequent lane changes and continuity. The advantage of the End to End (E2E) learning method was that the GPU can be used to improve the processing speed and reduce the amount of processing performed on the CPU. In addition, this method could obtain result stronger to environmental adaptation as the variety of learning data was the more the merrier. As a result, the results were similar the lane marking classification method using the existing edge detection, and the accuracy was about 93%. In addition, the research using the linear-parabolic model shows a processing speed of 165.65ms when the resolution was used at least 600 × 800, but in this study, it was processed about 33ms when the input image was used with the resolution as 1280 ×
960. The classification of CNN-based end-to-end method in this study was able to classify lane marking at a faster speed and confirmed meaningful results.