메뉴 건너뛰기
.. 내서재 .. 알림
소속 기관/학교 인증
인증하면 논문, 학술자료 등을  무료로 열람할 수 있어요.
한국대학교, 누리자동차, 시립도서관 등 나의 기관을 확인해보세요
(국내 대학 90% 이상 구독 중)
로그인 회원가입 고객센터 ENG
주제분류

추천
검색

논문 기본 정보

자료유형
학위논문
저자정보

Saba Arshad (충북대학교 )

지도교수
김곤우
발행연도
2023
저작권
충북대학교 논문은 저작권에 의해 보호받습니다.

이용수0

표지
AI에게 요청하기
추천
검색

이 논문의 연구 히스토리 (2)

초록· 키워드

오류제보하기
동시 현지화 및 매핑(SLAM) 기술은 지난 수십 년 동안 크게 향상되었다. 궤적을 따라 지도를 생성하고 이전에 방문한 장소를 정확하게 파악해 모바일 로봇이 미지의 환경에서 자율적으로 이동할 수 있도록 한다. 이러한 장소 인식은 SLAM의 구성 요소 중 하나인 루프 폐쇄 감지 시스템에 의해 수행되며, 이 시스템은 로봇의 환경 맵 재국재화 및 로봇 모션 중 발생할 수 있는 맵 드리프트 감소를 지원한다.

실제 환경에서는 날씨 조건, 연중 계절 변화, 낮과 밤의 조도 변화, 측면 및 각도 시점 변화, 움직이는 물체로 인한 동적 간섭 등의 여러 변수로 인해 장소의 모양이 크게 변화한다. 시각 SLAM 기반의 자율 항법 시스템은 카메라를 환경 인식 및 폐쇄 루프 감지를 위한 유일한 입력 센서로 사용한다. 성능은 현재 프레임에서 플레이스의 모양에 따라 달라집니다. 이러한 장소 모양의 변화는 시각적 SLAM에서 루프 폐쇄 감지 성능을 크게 저하시켜 실시간 로봇 애플리케이션에서 원하는 성능을 달성하는 것을 어렵게 만든다.

장소를 신규 또는 사전 방문한 장소로 정확하게 인식하는 것은 루프 폐쇄 감지의 필수 요소이며, 그 성능은 현재 프레임에서 추출된 시각적 정보와 현재 장소를 데이터베이스와 일치시키는 데 사용되는 방법에 따라 달라진다. 이러한 맥락에서, 상기 과제를 극복하기 위한 몇 가지 방법들이 과거에 제안되었지만, 여전히 미해결 문제이다.

본 논문은 장기 자율성을 위한 시각적 루프 폐쇄 감지의 견고성을 향상시키기 위한 다양한 필수 알고리듬을 연구하는 것을 목표로 한다. 이 논문 전반에 걸쳐 강력한 기능 일치 방법, 의미 전역 및 로컬 설명자 유사성 융합 모델, 강력한 의미-시각 정보 추출 방법 및 의미-시각 단어 가방 모델을 포함하여 시각 루프 폐쇄 감지의 성능을 향상시키는 데 여러 기여를 했다.

먼저 계절의 변화, 빛, 시점 및 움직이는 물체와 같은 까다로운 환경 조건에서 빠르고 효과적인 시각 루프 폐쇄 감지를 위한 강력한 기능 일치 방법을 제시한다. 제안된 방법은 대칭 매칭을 통해 이미지 쌍 간의 강력한 시각적 특징 대응을 필터링하고 현재 프레임과 참조 이미지 사이의 이미지 평면에서 특징 일치의 공간적 불일치를 식별하여 장소 감지를 미세화한다. 공간적으로 일관성이 없는 특징 대응을 제거하면 탐지 정확도가 크게 향상된다. 실험 결과는 제안된 방법이 높은 탐지 정확도로 모든 벤치마크 데이터 세트에서 최첨단 방법을 능가한다는 것을 보여준다.

둘째, 각 환경 조건에서 시각적 정보 추출 알고리듬에 대한 철저한 분석을 수행한다. 시각적 루프 폐쇄 감지 방법의 성능은 다양한 요인, 즉 환경 조건의 변화를 나타내는 데이터 세트, 환경 정보를 전달하는 기능, 일치 체계, 평가 메트릭 및 실제 데이터의 선택에 따라 달라진다. 이러한 모든 변수를 일정하게 유지하면서, 우리는 이전에 보고되지 않은 이 연구에서 다루어진 특정 문제에 대한 공통점에 대한 이진 기능의 성능 분석을 제시한다. 본 연구에서는 강력한 피처 매칭 방법을 사용하여 다양한 환경 조건에서 이진 피처 추출기의 동작과 강력한 피처 매칭 성능을 철저히 조사한다. 본 연구는 이들의 성과를 바탕으로 특정 환경변화에 따른 장소 매칭에 적합한 조합을 제시한다.

또한 인간과 같은 장면 이해를 달성하기 위한 시각적 의미론의 장점에 초점을 맞추어 시각적 SLAM 시스템에 대한 의미론적 글로벌 및 로컬 설명자(SLGD)를 사용하여 거친 루프 폐쇄 감지를 수행하는 새로운 의미론적 글로벌 및 로컬 설명자 유사성 융합 모델을 제시한다. 제안된 방법은 주어진 이미지에서 낮은 수준의 시각적 의미론적 및 높은 수준의 의미론적 정보를 활용하여 시점 및 조명 변화에 불변하는 로컬 시각적 기능의 이점과 특정 의미론 영역에서 추출된 글로벌 의미론을 결합한다. 견고성은 전역 의미론적 유사성과 의미론적으로 두드러진 로컬 특징 유사성의 융합을 통해 장기적 자율성에 대해 달성된다. 제안된 방법은 까다로운 벤치마크 데이터 세트 범위에서 최첨단 루프 폐쇄 감지 방법을 능가한다.

또한, 우리는 계층적 의미론적 시각적 단어 가방 모델을 제안한다. BoSVW 모델은 먼저 수작업으로 만든 이진 기능과 의미 레이블을 연결하기 위해 개발된 강력한 의미-시각 정보 추출 방법을 사용하여 강력한 의미-시각 정보를 추출한다. 그런 다음 강력한 의미론적 시각적 기능만을 사용하여 어휘 트리를 구축하고 동일한 의미론적 클래스 레이블에 속하는 시각적 단어를 일치시킨다. BoSVW는 기존 BoW 모델의 단점을 극복하고 거친 루프 폐쇄 후보를 선택하면서 실제 탐지율을 향상시킨다.

마지막으로, 우리는 BoSVW 모델을 의미론적 전역 및 로컬 설명자 유사성 융합 모델과 통합한다. 벤치마크 데이터 세트에서 제안된 BoSVW 융합 시맨틱 글로벌 및 로컬 기술자 기반 시각적 루프 폐쇄 감지 방법을 평가했다. 데이터 세트는 열차, 자동차, 스마트폰 및 일반 크라우드소싱을 포함한 획득 방법의 상당한 변화의 결과로 부분적으로 도전적인 범위의 관점 및 외관 변화 조건을 포함한다. 특정한 모양의 변화는 낮의 다른 시간, 즉 새벽과 밤, 다양한 날씨, 화창한 날씨, 흐린 날씨, 눈, 그리고 계절의 변화에 의해 발생한다: 여름에서 겨울. 제안된 방법은 다양한 도전적인 실제 데이터 세트에서 장기적인 자율성을 위한 최첨단 시각적 루프 폐쇄 감지를 달성하는 기능 및 딥 러닝 기반 방법 모두를 능가한다.

목차

1 Introduction 1
1.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Simultaneous Localization and Mapping . . . . . . . . . . . . . . . . 3
1.3 Visual Loop Closure Detection . . . . . . . . . . . . . . . . . . . . . 4
1.4 Problem Statement and Challenges . . . . . . . . . . . . . . . . . . . 5
1.5 Thesis Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.6 Thesis Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2 Literature Review 11
2.1 Features Based Loop Closure Detection Methods . . . . . . . . . . . 13
2.2 Deep Learning Based Loop Closure Detection Methods . . . . . . . . 16
2.3 Semantics Based Loop Closure Detection Methods . . . . . . . . . . 18
2.4 Open Challenges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.4.1 Viewpoint and Conditional Variations . . . . . . . . . . . . . 20
2.4.2 Dynamic Interference . . . . . . . . . . . . . . . . . . . . . . 21
2.4.3 Real-Time Performance . . . . . . . . . . . . . . . . . . . . . 22
2.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3 Binary Features Based Visual Loop Closure Detection 25
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.2 Features Based Visual Loop Closure Detection Techniques . . . . . . 29
3.3 Robust Feature Matching Method Based Visual Loop Closure Detection 31
3.3.1 Feature Extraction . . . . . . . . . . . . . . . . . . . . . . . . 33
3.3.1.1 Feature Detectors . . . . . . . . . . . . . . . . . . . 33
3.3.1.2 Feature Descriptors . . . . . . . . . . . . . . . . . . 33
3.3.2 BoW Vocabulary Generation . . . . . . . . . . . . . . . . . . 34
3.3.3 Vocabulary Based Image Matching . . . . . . . . . . . . . . . 35
3.3.3.1 Image to BoW Vector Conversion . . . . . . . . . . 35
3.3.3.2 BoW Vectors Matching: . . . . . . . . . . . . . . . . 35
3.3.4 Robust Feature Matching . . . . . . . . . . . . . . . . . . . . 37
3.3.4.1 Nearest Neighbor Symmetric Match . . . . . . . . . 37
3.3.4.2 Block Matching . . . . . . . . . . . . . . . . . . . . 38
3.3.5 Geometric Consistency . . . . . . . . . . . . . . . . . . . . . . 39
3.3.6 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4 Experimental Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4.2 Evaluation Datasets . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.3 Evaluation Parameters . . . . . . . . . . . . . . . . . . . . . . 43
3.4.3.1 Correct Matches (%) . . . . . . . . . . . . . . . . . 43
3.4.3.2 Precision-Recall Curve . . . . . . . . . . . . . . . . 43
3.4.3.3 Execution Time . . . . . . . . . . . . . . . . . . . . 43
3.5 Results and Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.5.1 No. of Extracted Features Per Image . . . . . . . . . . . . . . 44
3.5.2 Performance Evaluation of Feature Extraction Algorithms . . 44
3.5.3 Comparison of the Proposed Method with State-Of-The-Art
Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.5.4 Execution Time . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4 Semantic Global and Local Descriptor Based Visual Loop Closure
Detection 53
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.2 Semantics Aided Visual Loop Closure Detection Method . . . . . . . 55
4.2.1 Visual Information Extraction . . . . . . . . . . . . . . . . . 57
4.2.2 Coarse Loop Closure Detection . . . . . . . . . . . . . . . . . 57
4.2.3 Fine Loop Closure Detection . . . . . . . . . . . . . . . . . . 59
4.2.3.1 Semantically Salient Local Descriptor Matching . . 59
4.2.3.2 Semantically Aggregated Global Descriptor Matching 60
4.2.3.3 Fusion Model . . . . . . . . . . . . . . . . . . . . . . 62
4.3 Experiments and Results . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.3.1 Implementation Details . . . . . . . . . . . . . . . . . . . . . 62
4.3.2 Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.3.2.1 Oxford RobotCar Dataset . . . . . . . . . . . . . . . 63
4.3.2.2 Synthia Dataset . . . . . . . . . . . . . . . . . . . . 64
4.3.2.3 Mapillary Dataset . . . . . . . . . . . . . . . . . . . 64
4.3.3 Evaluation Parameters . . . . . . . . . . . . . . . . . . . . . . 64
4.3.4 Ablation Study . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.3.4.1 Top Candidates Selection . . . . . . . . . . . . . . . 65
4.3.4.2 Comparison with Baseline Algorithm . . . . . . . . 67
4.3.5 Comparison with State-Of-The-Art Methods . . . . . . . . . 67
4.3.6 Runtime Analysis . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
5 BoSVW-SGLD Based Visual Loop Closure Detection 75
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
5.1.1 Low Level Feature Extraction for Static Objects . . . . . . . 75
5.1.2 Semantics Aided Coarse Loop Candidates’ Selection . . . . . 76
5.1.3 Semantic Verification for Robust Feature Matching . . . . . . 76
5.1.4 Global Scene Understanding . . . . . . . . . . . . . . . . . . . 76
5.1.5 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.2 Visual and Semantic Information Extraction . . . . . . . . . . . . . . 79
5.2.1 Low Level Binary Features . . . . . . . . . . . . . . . . . . . 79
5.2.2 High Level Semantics . . . . . . . . . . . . . . . . . . . . . . 80
5.3 Hierarchical Bag-of-Semantic-Visual-Words Model . . . . . . . . . . 80
5.3.1 Robust Semantic-Visual Features Extraction . . . . . . . . . 82
5.3.2 A Semantic-Visual Words Vocabulary Tree . . . . . . . . . . 85
5.3.3 Coarse Loop Candidate Detection . . . . . . . . . . . . . . . 87
5.4 Semantic Global and Local Descriptor Similarity Fusion Model . . . 89
5.4.1 Semantic Global Descriptor Based Scene Matching . . . . . . 89
5.4.1.1 Semantic Global Descriptor Computation . . . . . . 90
5.4.1.2 Semantic Global Descriptor Matching . . . . . . . . 91
5.4.2 Spatially and Semantically Consistent Robust Local Descriptor Matching . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
5.4.2.1 Robust Feature Matching For Static Objects . . . . 92
5.4.2.2 Spatially Consistent Robust Feature Selection . . . 93
5.4.2.3 Semantic Inconsistency Filtration . . . . . . . . . . 94
5.4.2.4 Geometric Verification . . . . . . . . . . . . . . . . . 94
5.4.3 Fusion Model . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.5 Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.5.1 Implementation Setup . . . . . . . . . . . . . . . . . . . . . . 95
5.5.2 Evaluation Datasets . . . . . . . . . . . . . . . . . . . . . . . 96
5.5.2.1 Oxford RobotCar Dataset . . . . . . . . . . . . . . . 96
5.5.2.2 Synthia Dataset . . . . . . . . . . . . . . . . . . . . 97
5.5.2.3 Mapillary Dataset . . . . . . . . . . . . . . . . . . . 97
5.5.3 Evaluation Parameters . . . . . . . . . . . . . . . . . . . . . . 97
5.5.3.1 True Positive Detection Rate / Hit rate . . . . . . . 98
5.5.3.2 Precision-Recall Curve . . . . . . . . . . . . . . . . 98
5.5.4 Area Under Precision-Recall Curve . . . . . . . . . . . . . . . 98
5.5.5 Ablation Study . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.5.6 Comparison With Baseline Algorithm . . . . . . . . . . . . . 99
5.5.7 Comparison With State-Of-The-Art Algorithms . . . . . . . . 101
5.5.8 Runtime Analysis . . . . . . . . . . . . . . . . . . . . . . . . . 104
5.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
6 Conclusions, Applications and Future Research Directions 111
6.1 Contributions Summary . . . . . . . . . . . . . . . . . . . . . . . . . 112
6.2 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
6.2.1 Autonomous Mobile Robot Navigation . . . . . . . . . . . . . 114
6.2.2 Delivery Service Robots . . . . . . . . . . . . . . . . . . . . . 115
6.2.3 Multi Agent SLAM . . . . . . . . . . . . . . . . . . . . . . . . 115
6.3 Future Directions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
6.3.1 Detection Performance Improvement . . . . . . . . . . . . . . 116
6.3.2 Computational Efficiency . . . . . . . . . . . . . . . . . . . . 117
List of Author’s Publications 119
Bibliography 123

최근 본 자료

전체보기

댓글(0)

0