지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학위논문
- 저자정보
- 지도교수
- 유창경
- 발행연도
- 2022
- 저작권
- 인하대학교 논문은 저작권에 의해 보호받습니다.
이용수96
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
최근 무인기에 관한 연구가 활발히 이루어짐에 따라 강화학습을 무인기 경로계획에 적용하는 연구가 증가하고 있다. 이를 위해 다양한 강화학습 알고리즘을 적용하여 경로점이나 전역 경로를 산출하는 연구가 많이 진행되었다. 대부분의 경로계획에 적용된 강화학습 알고리즘은 이산화된 행동을 사용하는 알고리즘을 이용하거나 하나의 학습된 모델로 단일 지형에 대한 경로계획을 수행한다. 따라서 다양한 범위의 지형에 대해서 강건성이 부족하거나 새로 학습을 해야 하는 경우가 존재한다. 또한, 장애물의 위치가 변할 경우 대처하기가 어려운 문제가 발생한다.
본 논문에서는 무인기 경로계획을 위해 무인기의 상태를 이용하여 심층 강화학습 기법을 적용한 2차원 경로 계획을 수행하는 방법을 제안한다. 제안한 방식을 통해 무인기의 출발 지점과 도착 지점을 잇는 시선 벡터를 정의하여 이를 기준으로 선정한 행동을 이용해 경로점을 생성하도록 학습을 진행한다. 제안된 행동 방식은 구현이 간단하고 직관적인 형태로 구성되어 있으며 장애물과 현재 무인기의 위치가 가까운 경우를 상태로 정의하여 임의의 장애물 위치와 크기에 대해 경로점 생성이 가능하다. 장애물과 도착 지점의 위치가 임의로 지정된 상태로 학습이 진행되며 장애물의 최대 개수는 고정이며 원의 형상을 항상 유지하도록 설정하였다. 심층 강화학습 기법 중 연속적인 행동 공간을 다룰 수 있는 SAC 알고리즘을 사용하여 최적의 학습 파라미터 및 보상 설정을 연구하였다. 학습된 모델을 통해 여러 환경에 대한 결과를 분석하였다.
본 논문에서는 무인기 경로계획을 위해 무인기의 상태를 이용하여 심층 강화학습 기법을 적용한 2차원 경로 계획을 수행하는 방법을 제안한다. 제안한 방식을 통해 무인기의 출발 지점과 도착 지점을 잇는 시선 벡터를 정의하여 이를 기준으로 선정한 행동을 이용해 경로점을 생성하도록 학습을 진행한다. 제안된 행동 방식은 구현이 간단하고 직관적인 형태로 구성되어 있으며 장애물과 현재 무인기의 위치가 가까운 경우를 상태로 정의하여 임의의 장애물 위치와 크기에 대해 경로점 생성이 가능하다. 장애물과 도착 지점의 위치가 임의로 지정된 상태로 학습이 진행되며 장애물의 최대 개수는 고정이며 원의 형상을 항상 유지하도록 설정하였다. 심층 강화학습 기법 중 연속적인 행동 공간을 다룰 수 있는 SAC 알고리즘을 사용하여 최적의 학습 파라미터 및 보상 설정을 연구하였다. 학습된 모델을 통해 여러 환경에 대한 결과를 분석하였다.
목차
제 1 장. 연구 개요 11.1 연구배경 11.2 관련 연구 사례 41.2.1 기존 무인기 경로계획 기법 41.2.2 강화학습 기반 무인기 경로계획 51.3 연구내용 및 의의 71.4 논문 구성 9제 2 장. 심층 강화학습 기법 102.1 강화학습 102.1.1 강화학습 개요 102.1.2 마르코프 결정 과정 (MDP, Markov Decision Process) 122.1.3 벨만 방정식 152.1.4 Q-learning 162.2 심층 강화학습 172.2.1 심층 강화학습 개요 172.2.2 DQN(Deep Q-Network) 182.2.3 DDPG(Deep Deterministic Policy Gradient) 202.3 SAC(Soft Actor-Critic) 232.3.1 SAC 개요 232.3.2 엔트로피 목적 함수 232.3.3 소프트 벨만 방정식 242.3.4 소프트 정책 반복 272.3.5 SAC 기법 28제 3 장. 학습 기반 경로 계획 문제 정식화 303.1 환경(Environment) 303.2 관측 상태(Observation State) 323.3 행동(Action) 343.4 보상(Reward) 353.5 학습 환경 구성 38제 4 장. 시뮬레이션 결과 404.1 학습 시뮬레이션 환경 404.2 학습 결과 414.3 정적 장애물 환경 시뮬레이션 결과 434.4 동적 장애물 환경 시뮬레이션 결과 46제 5 장. 결론 48참고문헌 50
최근 본 자료
댓글(0)
0