지능형 자동차에서 영상 기반 능동 안전 시스템의 신뢰성을 향상시키기 위해서는 도로 위의 다양한 객체를 검출하고 추적하여, 객체의 정확한 상대 위치와 속도를 추정하는 것이 가장 중요하다. 본 논문의 목표는 스테레오 비전 시스템을 이용하여 도로에 존재하는 전방 차량들을 자동으로 검출하고, 추적하여 최적의 표적 상태(target state)를 추정하는 것이다. 본 논문에서 표적 상태라는 것은 전역 좌표에서의 상대 위치와 속도, 영상에서의 관심 영역의 위치와 크기로 정의한다. 본 논문에서 최적의 표적 상태를 추정하기 위하여 스테레오 비전 기반의 다중 가설 기반 추적(tracking-by-multiple hypotheses) 프레임워크를 제안한다. 기존의 검출 기반 추적(tracking-by-detection) 프레임워크는 시스템 성능이 객체 검출의 성능에 많이 의존적이어서, 다양한 도로 환경에서 발생되는 복잡한 문제를 해결하기가 어렵다. 제안한 프레임워크는 다양한 영상 정보로부터 생성되는 다중 가설들을 결합함으로써, 가설들에서 발생되는 오류와 불확실성을 보완하여 최적의 표적 상태를 추정할 수 있다. 다중 가설들은 장애물체 검출, 차량 인식, 영상 추적, 이전의 표적 상태로부터 생성되며, 깊이, 외양 모델, 움직임, 기울기 정보를 포함한다. 먼저, 전방 차량에 대한 상대 위치와 속도를 정밀하게 추정하기 위하여 스트라이퍼 기반의 부화소 시차(stripe-based sub-pixel disparity) 추정 방법과 역조감도 기반의 확장형 칼만 필터(inverse perspective mapping-based extended Kalman filter) 방법을 제안한다. 스테레오 비전에서 객체와의 거리는 시차를 이용하여 추정할 수 있지만, 스테레오 비전의 특성상, 원거리로 갈수록 시차 정밀도가 떨어지는 문제가 발생하며, 이것은 거리 추정 오차를 증가시키는 원인이 된다. 원거리에서의 거리 정밀도를 향상시키기 위해서는 부화소 시차를 정밀하게 추정하는 것이 가장 중요하다. 제안하는 부화소 시차 추정 방법은 특징점들로 구성된 스트라이퍼 벡터(stripe vector)를 이용하여, 객체에 해당하는 부화소 시차를 정밀하게 추정함으로써, 거리에 상관없이 안정된 시차 추정 성능을 제공할 수 있다. 하지만, 추정된 부화소 시차에도 여전히 측정 오차가 존재하며, 이러한 측정 오차의 공분산을 최소화하고, 최적의 표적 상태를 추정하기 위하여 역조감도 기반 확장형 칼만 필터 (inverse perspective mapping-based extended Kalman filter)를 제안한다. 제안한 방법은 기존 방법에 비하여 월등히 향상된 정밀도로 부화소 시차를 추정할 수 있으며, 근거리에서뿐만 아니라 원거리에서도 정확한 위치와 속도를 추정할 수 있다. 추정된 상대 위치와 속도의 신뢰성을 보장받기 위해서는 표적 차량에 해당되는 관심 영역 위치와 크기를 신뢰성 있게 추정하는 것이 필수적이다. 영상에서 차량에 대한 관심 영역을 추정하기 위해서, 깊이 정보를 이용한 장애물체 검출, 외양 모델을 이용한 차량 인식, 움직임 정보를 이용한 영상 추적등 다양한 영상 정보를 이용한 방법을 사용한다. 하지만, 각각의 방법들은 외부 환경 조건, 차량의 모양, 이전 관심 영역의 상태에 따라 불안정한 추정 성능을 제공한다. 제안한 프레임워크는 이러한 불완전한 각각의 가설들을 이용하여 데이터 연관, 추적 관리, 목표 상태 갱신 과정을 통하여, 최적의 표적 상태를 추정한다. 첫 번째 과정에서 현재 추적중인 객체들과 검출된 객체들을 결합하기 위하여, 데이터 연관 과정이 필요하며, 다중 가설들을 연관하기 위하여 track-to-multiple hypotheses 연관 방법을 제안한다. 제안한 방법에서 데이터 연관은 각각의 가설에 대하여 독립적으로 이루어지며, 연관된 가설들은 사후 표적 상태를 갱신하기 위하여 사용된다. 두 번째 단계에서 추적 관리는 추적 초기화와 종료화를 다루는 부분으로써, 현재 추적중인 객체에 대하여 미검출이 발생했을 때, 추적을 계속 유지할 것인지, 추적을 종료할 것인지를 결정하는 부분이다. 기존의 추적 관리 방법은 연속적인 객체 검출의 유무에 따라 추적 상태를 관리하지만, 제안한 추적 관리 방법에서는 연관된 다중 가설들의 신뢰도에 따라 다양한 추적 상태(track state)를 결정함으로써, 효과적으로 추적 상태를 관리할 수 있다. 불연속적으로 발생하는 오검출은 추적 초기화 과정에서 제거되고, 초기화가 끝난 객체에 대한 미검출은 연관된 다중 가설들에 의하여 표적 상태가 갱신된다. 마지막 단계에서는 최적의 표적 상태를 추정하기 위하여 연관된 다중 가설들을 이용한 최대 사후 확률(MAP: maximum a posterior probability) 추정 방법을 사용하며, 샘플링 기법을 이용하여 최적의 표적 상태를 추정한다. 마르코프 사슬 몬테 카를로(MCMC: Markov chain Monte Carlo) 샘플링 기법은 상태 공간에서 표적 상태를 추정하기 위하여 사용되며, 최대 사후 확률을 갖는 샘플을 선택함으로써, 최적의 표적 상태를 추정하게 된다. 복잡한 시내 도로, 자동차 전용 도로, 고속 도로 등 다양한 날씨 조건에서 획득된 실험 영상에 대한 정량적 평가는 제안한 프레임워크가 10-15Hz의 연산 시간으로, 평균적으로 98%의 다중 객체 추적 정확도와 70%의 다중 객체 추적 정밀도를 제공한다는 것을 보여준다.

In order to reduce the number of traffic accidents caused by careless driving, it is very important to track multiple obstacles and estimate their relative position and velocity accurately. In this thesis, we tackle the problem of automatically tracking a variable number of vehicles in various external road environments based on a stereo vision system. A novel stereo-based tracking-by-multiple hypotheses framework is proposed to track multiple vehicles robustly and estimate a target state optimally. In this thesis, the target state is defined as relative position and velocity in global coordinate, and size and position of region of interest (ROI) on an image plane. In order to estimate relative position and velocity in global coordinates, it is most important to estimate sub-pixel disparity accurately and precisely. Proposed stripe-based sub-pixel disparity estimation method estimates sub-pixel disparity of an object reliably using stripe vectors consisting of distinctive features. The target state is updated by inverse perspective mapping-based extended Kalman filter (IPM-based EKF) and error covariance of the target state is minimized while tracking target object in global coordinate. Experimental results demonstrate that our method can estimate sub-pixel disparity with 0.1 pixel accuracy, and distance with a 2% error rate within 50 m. In order to guarantee reliability of estimated relative position and velocity, it is essential to estimate an optimal target state, such as ROI position and size, on the image plane. Obstacle detection, vehicle recognition, and visual tracking methods are adopted to estimate ROIs of target vehicles on roads, and they utilize depth, appearance, and motion information, respectively. However, each method often gives unreliable estimation results due to various external environments, appearance changes, and inaccurate states of previous ROI. Our framework estimates an optimal target state through associating and integrating the imperfect multiple hypotheses. In our framework, firstly, a track-to-multiple hypotheses association method assigns multiple hypotheses to multiple tracks. Each track-to-multiple hypothesis association is independently accomplished, and the associated multiply hypotheses are used to update a posterior target state. Secondly, track management is necessary to track a variable number of vehicles automatically. Our track management method handles track creation, confirmation, termination, and deletion. Our method manages various track states according to a track score which is calculated by the reliability of associated multiple hypotheses. Sparse false detections are removed during track initialization, and track state is consistently maintained by the associated multiple hypotheses. Finally, a maximum posterior probability (MAP) estimation method estimates an optimal target state with the associated multiple hypotheses. The Markov chain Monte Carlo (MCMC)-based sampling method estimates an optimal target state in state spaces. A current optimal target state is updated by a sample with maximum posterior probability. The proposed framework is verified on various real road datasets by comparing with previous methods. Experimental results show that the framework outperforms previous methods in quantitative evaluations. Our framework achieves an multiple object tracking accuracy of 98%, and multiple object tracking precision of 70% with a processing time of 10-15 Hz in our test datasets, which include highway, motorway, and urban roads on sunny day, cloudy day, and rainy day.