드론 짐벌카메라 및 메타데이터를 이용한 영상 처리 시스템 :Image Processing System using Drone Gimbal Camera and Metadata

정상호

추천

검색

자료유형: 학위논문

저자정보: 정상호 (배재대학교, 배재대학교 대학원)

지도교수: 정회경

발행연도: 2022

저작권: 배재대학교 논문은 저작권에 의해 보호받습니다.

이용수48

이 논문의 연구 히스토리 (2)

2022

드론 짐벌 카메라의 영상 데이터 및 메타데이터 전송 시스템

정상호 , 김창수 , 정회경 한국지식정보기술학회 논문지 2022.08 학술저널

드론 짐벌카메라 및 메타데이터를 이용한 영상 처리 시스템

정상호 컴퓨터공 2022.01 학위논문

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록· 키워드

오류제보하기

세계는 드론의 보급화로 인해 기체의 개수는 및 보급률은 가파르게 증가하고 있으며, 이로 인해 드론의 영상 시장 규모는 포화상태에 이르고 있다. 또한, 드론 기체는 기체 제어를 위한 무선 모듈을 비약적으로 발전시키고 있으며 제작사로 하여금 기체를 더욱 작고 가볍게 만들어 소비자에게 보급하고 있다. 현재(2021년 기준) 시중에 판매되고 있는 보급형 드론 기체는 약 2Km 정도의 통신 거리를 가지고 있으며, 카메라는 4K(UHD) 화질의 동영상 저장과 실시간 영상(FHD)를 기준으로 판매되고 있다. 기체의 카메라는 시간이 지날수록 더 진보된 화질과 사용자 트래킹 등 많은 기능으로 기술 발전이 이루어지고 있다.
드론의 이용률이 증가함에 따라 취득되는 데이터는 기하급수적으로 늘어나고 있으며, 다수의 업체는 이러한 드론 영상데이터를 이용하여 AI 및 건설현장 진척도, 고층건물의 시설안전점검, 구조물의 3D 모델링 등 다양한 분야에서 활용되고 있다.
특히, AI 또는 2D 모델링 및 3D 모델링 등 현장에서 실시간 확인이 필요한 작업들은 수신되는 영상의 품질도 중요하지만, 그에 따른 메타데이터 정보도 함께 요구된다. 이미 상용 시장에서는 DJI의 드론은 많은 사용자가 운용함에 따라, 2D 모델링 및 3D 모델링을 지원하는 상용 소프트웨어 업체들은 기체의 정보를 실시간으로 받아와 처리하는 기술을 보유, 판매하고 있다. 그러나 사용자 수가 적거나 일부 공공기관에서 활용하는 국산 드론의 경우 상용 소프트웨어 업체가 직접 이러한 기능을 지원하지 않는 문제점이 있다. 각 드론의 프로토콜 및 데이터 융합 처리를 시장성이 없다고 판단하여 지원하지 않는다.
이에 본 논문에서는 드론에 장착된 짐벌 카메라를 이용하여 영상데이터와 함께 짐벌 자세와 기체 자세를 융합하여 실시간 전송하는 것을 국산 드론에 적용하는 방안을 연구하였다.
영상 수신부는 기체에서 송출하는 영상데이터를 실시간으로 수신받으며, 영상의 GPS정보, 짐벌 및 기체 자세정보, 카메라 정보 등 영상의 메타데이터를 수신 받게 된다. 영상 수신부는 범용적으로 사용되고 있는 5.8Ghz 대역의 RF를 사용하거나 LTE망(5G망)을 통해 GCS 및 서버에 송신된다. 영상 수신 서버는 드론에서 송출하는 짐벌카메라의 정보를 바탕으로 AI를 이용한 데이터 후처리 시스템에 사용되거나, 2D 및 3D 지형을 실시간으로 모델링 할 수 있다.
AI를 이용한 후처리는 실시간 수신부에서 사물인식, 위험요소 탐지 등을 할 수 있다. 또한, 메타정보를 바탕으로 2D 및 3D 지형 실시간 지형 모델링을 구축할 수 있다. 또한, 이를 기반으로 메타데이터 기반 2D 및 3D 지형의 모델링은 영상을 저장한 후 상용 지형 생성 소프트웨어를 이용하여 후처리를 진행한다.

In the world, the number of drones is increasing rapidly due to the spread of drones, and as a result, the size of the drone market is saturated. In addition, drone airframes are rapidly developing wireless modules for airframe control, and manufacturers are making smaller and lighter airframes and distributing them to consumers. Currently (as of 2021), entry-level drone aircraft on the market have a communication distance of about 2.Km, and cameras are sold based on 4K (UHD) video storage and real-time video (FHD). As time goes by, aircraft cameras are making technological progress with many functions such as more advanced image quality and user tracking.
As drone utilization increases, data acquired are increasing exponentially, and many companies are using such drone image data in various fields such as AI and construction site progress, facility safety inspection of high-rise buildings, and 3D modeling of structures.
In particular, for tasks that require real-time verification in the field, such as AI or 2D modeling and 3D modeling, the quality of the received image is also important, but metadata information is also. DJI''s drones, which have already dominated the commercial market, are operated by many users, and commercial software companies that support 2D modeling and 3D modeling have and sell technology to receive and process aircraft information in real time. However, in the case of domestic drones with a small number of users or used by some public institutions, there is a problem that commercial software companies do not directly support these functions. The protocol and data convergence processing of each drone is not supported because it is not marketable.
Therefore, in this paper, a method of applying gimbal posture and gaseous posture together with image data to domestic drones for real-time transmission was studied using a gimbal camera mounted on a drone.
The video receiver receives the video data transmitted from the aircraft in real time, and receives video metadata such as GPS information of the video, gimbal and aircraft posture information, and camera information. The video receiver uses the universally used 5.8Ghz RF or is transmitted to the GCS and the server through the LTE network (5G network). The video receiving server may be used in a data post-processing system using AI based on information from a gimbal camera transmitted from a drone, or may model 2D and 3D terrain in real time. Post-processing using AI is implemented so that real-time receivers can recognize objects and detect risk factors. In addition, real-time terrain modeling of 2D and 3D terrain may be constructed based on meta information. In addition, based on this, metadata-based 2D and 3D terrain modeling is performed after storing video and then post-processing using commercial terrain generation software.

#객체 탐지 #드론 짐벌카메라 #데이터 융합 #메타데이터 #실시간 데이터 전송

국문초록 ⅰ
목 차 ⅲ
그림목차 ⅵ
도표목차 ?
약어표 ⅹⅲ
제 1 장 서 론 1
1.1 연구배경 및 목적 1
1.2 연구내용 3
1.3 논문의 구성 3
제 2 장 관련 연구 4
2.1 국내 드론시장의 AI 현황 4
2.2 실시간 전송 프로토콜 5
2.2.1 RTP 5
2.2.2 TCP를 이용한 RTP 전송 9
2.2.3 H.264 비디오 데이터 전송을 위한 RTP 페이로드 10
2.3 WebSocket 14
2.3.1 WebSocket 개요 15
2.3.2 WebSocket 역사 15
2.3.3 WebSocket 통신 16
2.4 메타데이터의 획득 시스템 22
2.4.1 GNSS를 이용한 위치결정 및 오차분석 22
2.4.2 VRS ? RTK 보정방식 24
2.4.3 짐벌카메라 25
2.5 객체 탐지 모델 28
2.5.1 모델 구조 31
2.6 MSE(Media Source Extensions) 35
제 3 장 시스템 설계 37
3.1 시스템 구성 37
3.2 센서 데이터 융합 및 실시간 영상 송신 시스템 설계 39
3.3 센서 데이터 및 영상 중계 시스템 설계 48
3.4 영상 및 메타데이터 GCS 수신 모듈 설계 52
3.5 중계 및 미디어 서버 시스템 설계 54
3.6 웹 페이지 뷰어 설계 55
제 4 장 실시간 영상 메타데이터와 후처리 시스템 구축 59
4.1 시스템 구성 60
4.2 영상 및 메타데이터를 이용한 공간정보 후처리 시스템 62
4.2.1 드론 RTK 위성항법 오차 시험 64
4.2.2 드론 RTK 위성항법 오차 결과 68
4.3 영상 및 메타데이터 전송시스템 구축 71
4.4 영상 및 메타데이터 중계 및 수신 시스템 구축 77
4.5 미디어 서버를 이용한 웹 방송 시스템 구축 83
4.6 YOLO(You Only Look once) 시스템 구축 88
제 5 장 시스템 통합 테스트 및 검증 96
5.1 영상 및 메타데이터 송/수신 시스템 테스트 96
5.2 수집데이터를 이용한 2D 맵핑 정확도 97
5.3 YOLO를 이용한 실시간 객체 검출 114
제 6 장 결 론 119
참고문헌 121
영문초록 126
감사의 글 128

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

이 논문의 연구 히스토리 (2)

초록· 키워드

목차

최근 본 자료

댓글(0)