다중 호모그래피와 호모그래피 보정을 이용한 이미지 및 비디오 스티칭 :Image or Video Stitching using a Multiple Homographies and Homography Refinement

윤재영

추천

검색

자료유형: 학위논문

저자정보: 윤재영 (경희대학교, 경희대학교 대학원)

지도교수: 박영태, 이대호

발행연도: 2018

저작권: 경희대학교 논문은 저작권에 의해 보호받습니다.

이용수21

이 논문의 연구 히스토리 (2)

2018

다중 호모그래피와 호모그래피 보정을 이용한 이미지 및 비디오 스티칭

윤재영 전자·전파공학과 2018.01 학위논문

2016

이중 호모그래피 혼합과 거리맵을 이용한 개선된 이미지 스티칭

윤재영 , 이서형 , 임성수 외 2명 한국정보과학회 학술발표논문집 2016.06 학술대회자료

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록· 키워드

오류제보하기

스티칭 기법은 여러 카메라에서 얻은 영상을 하나의 영상으로 합성해 사용자에게 더 넓은 화각과 해상도를 가진 영상을 제공하는 기법이다. 스티칭 기법은 스포츠 중계 시스템, 360도 VR 시스템, around view monitor (AVM) 시스템, 드론 촬영 등 다양한 분야에서 응용될 수 있기에 현재 활발히 연구되고 있는 분야다.
스티칭 연구는 크게 두 가지 분야로 나누어 질 수 있는데, 시차에 의해 생기는 고스트 현상 제거와 처리 시간 단축으로 나누어 질 수 있다. 이를 위해 연구자들은 심을 이용한 스티칭, 와핑을 이용한 스티칭 기법 등 다양한 방법으로 연구를 진행하고 있다.
이에 본 논문도 고스트 현상 제거와 처리 시간 단축을 위한 영상분할을 이용한 다중 호모그래피 이미지 스티칭 방법과 호모그래피 보정을 이용한 실시간 비디오 스티칭 기법을 제시한다.
먼저, 영상분할을 이용한 다중 호모그래피 이미지 스티칭은 영상 내 전경과 배경 사이 시차로 생기는 고스트 현상을 줄이기 위해 영상 내 전경과 배경을 나눈 뒤, 각각 해당되는 호모그래피를 적용해 이미지를 합성하는 기법이다. 이 기법은 크게 전경 후보자 추출, 후보자 검증, 와핑 및 블렌딩으로 나누어 지며, 전경 후보자를 추출하기 위해서 민시프트 영상분할과 적합점 비율을 이용해 전경 후보를 선택하고 후보 영역 내 특징점의 개수, 영역의 넓이, 특징점 분포를 고려해 전경 후보를 검증해 최종적으로 전경과 배경에 해당되는 호모그래피를 구해 하나로 합성한다. 이 때, 영상 분할로 생성되는 잡음과 구멍을 보완하기 위해 형태학적 기법을 이용한다.
두 번째, 호모그래피 보정을 이용한 비디오 스티칭 기법은 실시간으로 움직이는 모바일 디바이스에서 얻은 영상을 하나로 합성하는 기법으로, 광류 추적 기법과 그리드를 이용해 빠르게 두 프레임 간 호모그래피의 곱인 카메라 패쓰를 추정하고 블록 매칭을 이용해 앞 써 구한 카메라 패쓰의 오류를 보정하여 두 비디오 영상을 하나로 합성한다.
본 논문에서는 다양한 샘플 이미지와 비디오를 수집하여 실험을 진행했으며, 실험을 통해 영상분할을 이용한 다중 호모그래피 이미지 스티칭는 다른 방법과 비교해 고스트 현상이 많이 제거되는 것을 확인할 수 있었고 호모그래피 보정을 이용한 비디오 스티칭 기법은 초당 13 프레임을 처리해 실시간 비디오 스티칭에 적합하다는 것을 확인 할 수 있었다.

A stitching technique combines the images acquired from multiple cameras. By generating the images with wide field of view (FOV) and high resolution, the users can be immersed in the stitched images. Recently, the stitching technique has actively been studied because it can be applied in various fields such as sport-broadcasting system, 360 degree virtual reality (VR) system, around view monitoring (AVM), and drone monitoring.
The trends in the stitching research can be divied into two things; 1) removal the ghost effects caused by the parallax, 2) reduction the processing time. For this purpose, the researchers are studying various methods such as seam-driven methods, and warping methods.
In this paper, we propose a real-time video stitching using homography refinement and image stitching using multiple homographies for removal ghost effects and reduction of processing time.
First, the image stitching using multiple homographies is a technique that dividing the foreground and background in the image, then applying the segments into the multiple homographies to reduce the ghost effects caused by the parallax. This method is divied into three stages; 1) foreground candidate detection, 2) foreground candidate validation, and 3) warping and blending. To detect the foreground candidate, we select the candidate in the segments using the Mean-shift segmentation and inlier rates. Then, we verify the foreground candidate considering the number of features, the area of segments, and the distribution of features. Finally, the background and foreground are combined using the homographies corresponding to the foreground and background. At that time, a morphological method is used to refine the noise and hole in the foreground.
Second, the video stitching using homography refinement is a technique to combine multiple images acquired from mobile devices in the real-time. We estimate the camera paths, which is the multiplication of the homographies between the adjacent frames, using the optical flow and the gird, and the estimated camera paths are refined using the block matching. Finally, the frame are synthesized using the refined camera paths and initial between camera moions.
In this paper, we experiment using the various samples. The experimental results show that the image stitching using multiple homographies is more effective than the other methods in removal of ghost effects, and the real-time video stitching using homography refinement can stably stitch two image sequences in more than about 13 fps (frames per second).

#이미지 스티칭 #비디오 스티칭 #옵티컬 플로우

Ⅰ 서론 1
Ⅱ 영상분할을 이용한 다중 호모그래피 이미지 스티칭 5
2.1 개요 5
2.2 전경 후보자 추출 및 검증 방법 10
2.3 와핑 및 블렌딩 방법 16
2.4 실험 결과 및 분석 21
Ⅲ 호모그래피 보정을 이용한 실시간 비디오 스티칭 26
3.1 개요 26
3.2 광류 추적을 이용한 카메라 패쓰 추정 방법 33
3.3 호모그래피 보정을 이용한 오차 수정 방법 41
3.4 실험 결과 및 분석 46
Ⅳ 결 론 55
Ⅴ 참고문헌 57
Abstract 61

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

이 논문의 연구 히스토리 (2)

초록· 키워드

목차

최근 본 자료

댓글(0)