모델 예측 제어를 위한 호기심기반 이중 정책 심층강화학습 :Deep Reinforcement Learning Based on Curiosity-driven Dual Policy for Model Predictive Control

지창훈

추천

검색

자료유형: 학위논문

저자정보: 지창훈 (한국기술교육대학교, 한국기술교육대학교 일반대학원)

지도교수: 한연희

발행연도: 2023

저작권: 한국기술교육대학교 논문은 저작권에 의해 보호받습니다.

이용수10

이 논문의 연구 히스토리 (2)

2023

모델 프리 강화학습 정책을 적용한 호기심 기반 TD-MPC

지창훈 , 김주봉 , 한연희 한국통신학회논문지 2023.06 학술저널

모델 예측 제어를 위한 호기심기반 이중 정책 심층강화학습

지창훈 컴퓨터공학과 2023.01 학위논문

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록· 키워드

오류제보하기

최근 다양한 분야에서 강화학습을 활용하여 정밀 제어에 성공하는 사례가 많아지고 있다. 하지만 강화학습은 학습 초반에 무작위 행동을 통해 학습이 진행되는 특징을 가지고 있다. 이런 강화학습의 특징은 제어 대상에게 과부하를 주고, 필요 없는 에너지 소비를 유발하는 등 실제 환경에서의 적용을 어렵게 한다. 이를 해결하기 위해 강화학습에서는 학습에 필요한 샘플 (Sample)의 수를 최소화시키는 방법이 연구되고 있는데, 이런 연구들의 일환으로 모델 기반 강화학습이 연구되고 있다. 모델 기반 강화학습은 환경 모델과 계획을 통해 행동을 추출하는 강화학습의 한 종류로 학습에 필요한 샘플의 수를 최소화시킬 수 있는 장점이 있다. 모델 기반 강화학습에서 높은 성능을 가지고 있는 알고리즘 중 하나로 모델 예측 제어를 위한 시간차 학습(Temporal Difference Learning for Model Predictive Control, TD-MPC)이 있다. TD-MPC 는 학습 과정에서 모델 기반 정책과 모델 프리 정책을 학습한다. 하지만 모델 프리 정책으로부터 추출된 행동은 환경에 적용되지 않고, 모델 기반 정책으로부터 추출된 행동만 환경에 적용 한다. 이런 행동 적용 방법은 더 좋은 행동 선택의 기회를 스스로 없애는 것과 같다.
본 논문에서는 TD-MPC를 토대로 모델 기반 정책과 모델 프리 정책 중 더 좋은 정책의 행동을 환경에 적용하는 이중 정책 TD-MPC를 제안한다. 또한 호기심 기반(Curiosity-driven)으로 탐험을 장려하여 이중 정책 활용 시 발생할 수 있는 탐험-활용의 불균형을 해결하였다. 새롭게 제안하는 강화학습 알고리즘은 기존 TD-MPC에 비해 추가적인 심층 신경망과 계산복잡도 없이 구성되었다. 비교실험은 정밀 제어 시뮬레이션의 벤치마크에 해당하는 DeepMind Control Suite에서 진행하며, 다수의 환경에서 제안하는 알고리즘이 기존의 TD-MPC보다 높은 샘플 효율성과 높은 성능을 가지고 있음을 확인한다.

Recently, there are many cases of successful precision control using reinforcement learning in various fields. However, reinforcement learning has the characteristic that learning proceeds through random actions at the beginning of training. These characteristics of reinforcement learning make it difficult to apply in a real environment, such as overloading the control target and causing unnecessary energy consumption. In order to solve this problem, in reinforcement learning, a method for minimizing the number of samples required for training is being researched, and as part of these studies, there is model-based reinforcement learning. Model-based reinforcement learning can minimize the number of samples required for learning by extracting behavior through the environmental model and planning. One of the algorithms with high performance in model-based reinforcement learning is Temporal Difference Learning for Model Predictive Control (TD-MPC). TD-MPC trains model-based policy and model-free policy in the learning process. However, the action extracted from model-free policy is not applied to the environment, and only the action extracted from model-based policy are applied to the environment.
In this paper, based on TD-MPC, we propose a dual-policy TD-MPC that applies the action of the better policy of model-based policy and model-free policy to the environment. In addition, exploration was encouraged on a curiosity-driven basis to solve the imbalance between exploration- exploitation that could occur when using dual policies. The proposed algorithm is configured without the deep neural network and computational complexity newly added in the existing TD-MPC. The comparison experiment is conducted in the DeepMind Control Suite, which is the benchmark for precision control simulation, and it is confirmed that the proposed algorithm has higher sample efficiency and higher performance than the existing TD-MPC in many environments.

#심층 강화학습 #모델 기반 강화학습 #모델 예측

제1장 서론 1
제1절. 연구목적과 연구방법론 1
제2절. 논문 구성 3
제2장 관련 연구 4
제1절. 모델 기반 강화학습 4
1. 강화학습 4
2. 모델 기반 강화학습 5
제2절. 호기심 기반 강화학습 6
제3절. 모델 예측 제어를 위한 시간차 학습 7
1. 전역적인 해결책을 위한 모델 예측 제어 8
2. 모델 업데이트 10
3. 잠재 상태의 일관성 11
4. TD-MPC의 정책 11
제3장 제안하는 강화학습 알고리즘 13
제1절. 이중 정책을 통한 행동 선택 13
제2절. 호기심 기반 탐험 장려 19
제3절. 모델 업데이트 21
제4절. 의사 코드 및 개요도 22
제4장 실험 24
제1절. DeepMind Control Suite 24
제2절. 비교실험 결과 24
1. Reacher 25
2. Fish 26
3. Hopper 27
4. Cart-k-pole 28
5. Finger 30
6. Humanoid 31
7. Quadruped 34
8. Swimmer 35
제5장 결론 37
제1절. 정리 37
참고문헌 38
ABSTRACT 41

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

이 논문의 연구 히스토리 (2)

초록· 키워드

목차

최근 본 자료

댓글(0)