본 논문은 3차원 HD(high definition) 매핑 시스템을 위한 6-채널 카메라와 16-채널 3차원 라이다 센서 장치 구성, 시간 동기화 및 평면 체스보드를 이용한 간단한 외부 파라미터 보정을 제안한다. 먼저 3차원 HD 맵핑 시스템의 장치 구성에 대해 소개한다. 육각형으로 제작된 평면판 위에 6-채널의 카메라가 360° 전방향에 대한 영상 정보를 획득할 수 있도록 설치되고, 그 위에 16-채널의 라이다를 설치하여 전방향에 대한 3차원 거리정보를 획득한다. 이러한 색상 및 3차원 거리의 융합된 정보의 신뢰도를 높이기 위해서는 카메라와 라이다 획득 데이터 사이의 시간 및 공간을 일치시키는 작업이 필요하다. 센서 간의 시간일치는 사용되는 모든 센서의 정확한 동기화(synchronization)라 할 수 있고, 공간일치는 센서들의 3차원 좌표계 사이의 외부 파라미터(extrinsic parameters)에 대한 기하 보정(geometry calibration)이라 할 수 있다.
본 논문에서는 먼저 카메라와 라이다 간의 시간 동기화에 대해 소개한다. 제안하는 시스템의 인터페이스 박스 안에는 GPS와 카메라 동기화를 제어하는 Arduino 보드가 설치한다. GPS에서 발생되는 PPS(Pulse Per Second) 신호는 정확한 간격으로 라이다와 Arduino 보드에 입력되고, Arduino 보드는 6-채널 카메라에 동시에 트리거 신호를 제공한다. 따라서 6 대의 카메라와 라이다 센서는 GPS의 PPS 신호 의해 정확하게 시간 동기화를 할 수 있다. 위 과정을 통해 PC는 모든 센서들로부터 시간 동기화가 된 데이터를 받을 수 있다.
다음으로, 평면 체스보드를 사용하여 6-채널 카메라와 16-채널 3차원 라이다 센서 간의 초기 외부 파라미터 보정 방법을 제안한다. 이 보정방법은 각 카메라-라이다 조합을 독립적인 하나의 센서 유닛로 간주하며 두 센서 좌표 간의 외부 파라미터를 보정한다. 이후 모든 카메라와 라이다에 알고리즘을 적용하여 최종적으로 라이다를 기준으로 6개의 카메라에 대한 외부 파라미터를 보정하게 된다.
제안하는 외부 파라미터 보정 방법의 순서는 다음과 같다. 서로 다른 자세의 체스보드에 대한 2차원 영상을 카메라로 그리고 3차원 거리 정보를 라이다로 획득한다. 이때 체스보드는 두 센서의 시야각이 겹치는 공간에서 위치하고 카메라가 체스보드 패턴이 관측이 가능하게 체스보드의 위치 및 자세를 조정하고 영상 및 3차원 정보를 획득한다. 카메라 영상에서 각 시점의 체스보드의 코너 3차원점은 2차원 체스보드 코너 위치를 재투영하여 계산하고 이 3차원점들을 이용하여 3차원 평면 피팅(plane fitting)을 수행한다. 각 동일한 체스보드 자세의 라이다 3차원 정보에서는 간단한 거리 필터링을 통해 체스보드에 해당되는 3차원점만을 추출한다. 이 3차원 점들을 이용하여 라이다 센서 좌표계에 대한 3차원 평면 피팅을 수행한다. 이렇게 피팅된 모든 평면들의 법선 벡터(normal vector)를 정렬하여 카메라와 라이다간의 상대 회전 행렬(rotiation matrix)을 계산한다. 상대 이동 벡터(translation vector)를 계산하기 위해 먼저 회전된 카메라 평면 위의 임의의 3차원점 하나를 선택하여 라이다 평면으로 투영한다. 투영된 점과의 거리가 최소화되도록 반복 수행하여 최종적으로 이동 벡터를 계산한다. 이때 좌표계 사이에서 정확한 외부 파라미터를 찾기 위해 최소 3 개 이상의 평면을 사용해야 된다.
마지막으로 정밀한 외부 파라미터 추정을 위해 본 논문에서 제안하는 정제 방법(refinement method)들을 이용하여 종전의 과정으로 추정한 초기 외부 파라미터를 정제한다. 정제 방법은 총 세 가지이며 각 방법에 대해 소개한다. 첫 번째 방법은 라이다 평면에 카메라 영상의 모든 체스보드 3차원 코너점을 투영하고 투영된 위치와의 유클리디언 거리를 최소화하는 방법이다. 두 번째 방법은 3차원 코너점과 투영된 위치를 단순 유클리디언 거리가 아닌 3차원 점군의 분포를 고려한 거리를 이용하여 정제를 하는 방법이다. 세 번째 방법은 평면 피팅 오차가 적은 카메라 평면에 라이다의 모든 체스보드 3차원점을 투영하고 투영된 위치와의 유클리디언 거리를 최소화하는 방법이다.
가상 데이터와 실제 데이터를 사용한 실험을 통해 본 논문에서 제안한 알고리즘의 성능을 분석한다. 제안된 외부 파라미터 보정은 센서 사이의 이동 오차가 2 mm 미만이며 회전 오류가 거의 없었다. 이를 통해 제안한 방법의 우수한 성능을 정량적으로 알 수 있다. 또한 실제 데이터를 사용한 실험을 통해 3차원 매핑 장치에서 융합된 형태로 정보를 획득할 수 있음을 확인했다. 이 결과를 통해 제안한 장치와 보정 방법이 실제 환경에서 안정적으로 동작하는 것을 확인할 수 있다.

In this paper, we propose the 3D HD mapping system, which consists of a 6-channel camera and a 16-channel 3D LiDAR sensor. Also, we propose time synchronization and a simple extrinsic calibration method between the camera and the LiDAR using a planar chessboard. We first introduce the device configuration of our 3D HD mapping systems. The proposed 3D HD mapping system is 6-channel cameras are mounted on a specially designed hexagonal plate to capture omnidirectional images, and the LiDAR sensor is mounted on the top of the plates to capture 3D points in 360°. Meanwhile, accurate extrinsic calibration between cameras and LiDAR sensors increases the reliability of data fusions between acquired color and 3D point data. Also, precise time synchronization between all sensors is essential.
We introduce the time synchronization between cameras and the LiDAR. First, inside the interface box is a GPS and an Arduino board that controls the synchronization of cameras. The PPS (Pulse Per Second) signal generated by GPS is input to the LiDAR and the Arduino board at precise intervals, and the Arduino board simultaneously provides trigger signals to the 6-channel camera. So, the six cameras and the LiDAR sensors are precisely time-synchronized by using the PPS signal from the GPS. Each camera that receives the trigger signal sends synchronized images to the PC. Also, the Arduino board transmits the location data received from the GPS to the PC.
Next, we propose an extrinsic calibration method to estimate extrinsic parameters between the 6-channel camera and the 16-channel LiDAR sensors using a planar chessboard. However, in this paper, we propose the calibration algorithm that estimates extrinsic parameters between the single camera and the LiDAR. The proposed method can later be used to calibrate multiple cameras with the LiDAR by sequentially running the proposed algorithm to each camera-LiDAR pair.
The detailed in the proposed method is as follows. First, the 2D chessboard corners in the camera image are reprojected into 3D space to fit a 3D plane to the camera coordinate system. The corresponding 3D points data that scan the chessboard are used to fit another 3D plane to the LiDAR coordinate system. The rotation matrix is calculated by aligning normal vectors of the corresponding planes. Also, an arbitrary point on the 3D camera plane is projected to the LiDAR plane, and the distance between the arbitrary point and the projected point is iteratively minimized to estimate the translation vector. At least three or more planes are used to estimate accurately extrinsic parameters between the coordinate systems.
Next, initial extrinsic parameters are refined using proposed refinement methods. We introduce three refinement methods and describe features in detail of each method. The first refinement is a method using Euclidean distance projecting all 3D corners of the chessboard of images on the LiDAR plane. Second, we introduce a refinement method using the distance considering the distribution of the 3D points rather than the Euclidean distance between 3D corner points and projected position. The third refinement is a method using Euclidean distance projecting the 3D points of the LiDAR on the camera plane.
In the experiments, we analyze the accuracy of the proposed algorithm using simulation data and ground-truth. The proposed extrinsic calibration resulted in less than 2 mm the translation error between sensors and almost no rotation error. The result quantitatively indicated the superior performance of the proposed method. Also, the result of experiments using real data indicated that the 3D mapping system could obtain data in the fused form. Also, through experiments using real data, it is confirmed that the proposed algorithm works well in real environments. The proposed method showed that it worked well in a real environment through the results of using real data.