지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학위논문
- 저자정보
- 지도교수
- 박인규
- 발행연도
- 2020
- 저작권
- 인하대학교 논문은 저작권에 의해 보호받습니다.
이용수0
이 논문의 연구 히스토리 (3)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
현재 사용 가능한 상용 라이트필드 카메라는 정지 영상만을 취득하거나 가격이 매우 높다는 단점으로 인하여 5차원 라이트필드 비디오 취득에 어려움이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 단안 비디오로부터 라이트필드 비디오를 합성하기 위한 딥러닝 기반 기법을 제안한다. 라이트필드 비디오 학습 데이터를 취득하기 어려운 문제를 해결하기 위하여 UnrealCV를 활용하여 3차원 그래픽 장면의 사실적 렌더링에 의한 합성 라이트필드 데이터를 취득하고 이를 학습에 사용한다. 제안하는 딥러닝 네트워크는 입력 단안 비디오에서 9x9의 각 sub-aperture image (SAI)를 갖는 라이트필드 비디오를 합성한다.
제안하는 네트워크는 크게 특징 추출 부분과 추출된 특징을 이용해 시간 도메인을 포함하는 5차원 라이트필드 비디오를 합성하는 부분으로 나뉜다. 특징 추출 부분에서는 밝기 영상으로 변환된 각 입력 영상들의 특징을 추출하는 특징 추출 계층, 추출된 각 특징들의 상관관계를 고려하는 상관관계 계층(correlation layer), 그리고 특징 추출 계층에서 얻은 특징들과 상관관계 계층에서 얻은 상관관계 정보들로부터 최종 특징을 추출하는 인코더 네트워크로 구성되어 있다. 추출된 특징들로부터 라이트필드를 합성하는 부분은 다시 세 영역으로 나뉜다. 먼저, 추출된 특징들로부터 입력 영상들 간의 optical flow를 추정하는 네트워크 영역이 있다. 해당 영역에서 추정한 optical flow로 추후 얻어지는 라이트필드 영상들간의 시간적 일관성을 부여한다. 다음으로 추출된 특징들로부터 appearance flow를 추정하는 네트워크 영역이 있다. 투정한 appearance flow를 사용해 라이트필드 영상을 얻게 된다. 마지막으로 라이트필드 영상의 분산(variance)영상을 활용하여 마스크를 형성한 뒤 각 SAI의 폐색(occlusion) 부분 및 가장자리 부분의 품질을 향상시키는 네트워크 영역이 있다.
제안하는 네트워크는 크게 특징 추출 부분과 추출된 특징을 이용해 시간 도메인을 포함하는 5차원 라이트필드 비디오를 합성하는 부분으로 나뉜다. 특징 추출 부분에서는 밝기 영상으로 변환된 각 입력 영상들의 특징을 추출하는 특징 추출 계층, 추출된 각 특징들의 상관관계를 고려하는 상관관계 계층(correlation layer), 그리고 특징 추출 계층에서 얻은 특징들과 상관관계 계층에서 얻은 상관관계 정보들로부터 최종 특징을 추출하는 인코더 네트워크로 구성되어 있다. 추출된 특징들로부터 라이트필드를 합성하는 부분은 다시 세 영역으로 나뉜다. 먼저, 추출된 특징들로부터 입력 영상들 간의 optical flow를 추정하는 네트워크 영역이 있다. 해당 영역에서 추정한 optical flow로 추후 얻어지는 라이트필드 영상들간의 시간적 일관성을 부여한다. 다음으로 추출된 특징들로부터 appearance flow를 추정하는 네트워크 영역이 있다. 투정한 appearance flow를 사용해 라이트필드 영상을 얻게 된다. 마지막으로 라이트필드 영상의 분산(variance)영상을 활용하여 마스크를 형성한 뒤 각 SAI의 폐색(occlusion) 부분 및 가장자리 부분의 품질을 향상시키는 네트워크 영역이 있다.
목차
1. 서론 11.1 문제 배경 및 정의 11.2 라이트필드 영상 합성 21.3 비디오의 시간적 일관성 31.4 가상 환경 데이터 41.5 논문의 구성 52. 기존의 연구 82.1 라이트필드 영상 합성 82.2 비디오의 시간적 일관성 112.3 가상 환경 데이터 123. 5차원 라이트필드 비디오 합성 143.1 합성 라이트필드 데이터셋 구성 143.2 딥러닝 프레임워크 163.2.1 개요 163.2.2 특징 추출 163.2.3 5차원 라이트필드 비디오 합성 183.2.4 시간적 일관성 부여 233.3 학습 절차 및 구현 세부사항 253.3.1 학습 절차 253.3.2 구현 세부사항 264. 실험 결과 및 비교 294.1 개요 294.2 정성적 평가 304.2.1. 3차원 그래픽 장면에 대한 평가 304.2.2 실제 장면에 대한 평가 324.3 정량적 평가 374.3.1 시간적 일관성 평가 374.4 Ablation study 405. 결론 46Bibliography 46Acknowledgement 55
최근 본 자료
댓글(0)
0