전기 생리학 카테터 제어 로봇의 딥러닝 강화학습을 이용한 자동 제어 :Automatic robot control for electrophysiology catheter using deep reinforcement learning

유현석

추천

검색

자료유형: 학위논문

저자정보: 유현석 (울산대학교, 울산대학교 대학원)

지도교수: 최재순

발행연도: 2020

저작권: 울산대학교 논문은 저작권에 의해 보호받습니다.

이용수13

이 논문의 연구 히스토리 (2)

2020

전기 생리학 카테터 제어 로봇의 딥러닝 강화학습을 이용한 자동 제어

유현석 2020.01 학위논문

2018

딥러닝 강화학습을 이용한 심장중재로봇 카테터 가상 모델 제어

유현석 , 문영진 , 권지훈 외 1명 한국정밀공학회 학술발표대회 논문집 2018.05 학술대회자료

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록· 키워드

오류제보하기

부정맥 중재 시술에서 관련 종사자의 방사선 노출을 줄이기 위한 방법으로 중재 시술 로봇이 개발되어 적용되고 있으며, 로봇을 이용한 전기생리학 카테터의 제어에 관한 연구가 진행되고 있다. 로봇을 이용한 카테터의 제어는 심장과 카테터 사이에 물리적 요인으로 인해 정밀제어에 한계가 있다. 본 연구에서는 로봇을 이용한 카테터의 자동제어 방법으로 강화학습을 적용하고자 하였다. 두가지 실험 통해 강화학습을 이용하여 시뮬레이션 환경에서 카테터가 목표지점에 도달할 수 있도록 학습을 진행하고, 실제 로봇 환경에 적용하여 카테터를 제어할 수 있음을 보이고자 하였다. 첫번째는 물리적 제한이 없은 빈 공간에서 카테터의 제어 실험이며, 두번째는 심장 모델을 이용한 제어 실험이다. 첫번째 실험에서는 sim to real에서 reality gap를 줄이기 위해, Randomization noise를 추가 하였다. Randomization noise는 insert angle 변화, end point 변화, step value 변화 3가지가 적용되었다. 시뮬레이션 학습 모델의 결과를 실제 환경에서 실험한 결과, 69%의 목표 지정 도달에 대한 성공률을 보였으며, Noise 적용 모델은 성공률이 88%까지 증가할 수 있음을 확인하였다. 실험을 통해 시뮬레이션 학습 모델을 로봇 시스템에 적용하여 실제 카테터 모델을 제어할 수 있으며 Randomization Noise 적용을 통해 모델의 성공률을 높일 수 있었음을 확인하였다. 두번째는 심장 모델과 카테터간 물리적 외력이 발생하는 경우에 실제 로봇 환경에 적용하여 카테터를 제어할 수 있음을 보이고자 하였다. 첫번째 실험에서 reality gap을 개선한 insert angle 변화, step value 변화 조건을 시뮬레이션에 추가하여 모델을 학습시켰다. 시뮬레이션 학습 모델의 결과를 실제 환경에서 실험한 결과, 70 %의 목표 지정 도달에 대한 성공률을 확인하였다. 두 실험을 통해 카테터 모델의 제어를 강화학습 방식을 이용하여 시도하였으며, 시뮬레이션을 이용한 학습 방식이 카테터 모델 제어의 가능성을 확인해 보고자 하였다.

To reduce the radiation exposure of personnel during an interventional procedure for arrhythmia, a robot has been developed and implemented herein for use in interventional procedures. Studies on the control of an electrophysiology catheter by robots are being conducted However, controlling a catheter using a robot has limited precision owing to external forces subjected on the catheter due to physical factors between the heart and the cardiac. This study implements a reinforcement learning method for automated control of a catheter by a robot. Using the reinforcement learning method, two experiments were conducted to show that such a robot can learn to manipulate a catheter to reach a target in a simulated environment and subsequently control a catheter in an actual environment. The first is the control experiment of the catheter in an empty space without physical limitations, and the second is the control experiment using the heart model. In the first experiment, randomization noise is used during the simulation to reduce the reality gap in sim to real. Three conditions were applied as learning conditions as randomization noise, change of insert angle, change of end point and change of step value. When the results from the simulated learning model are implemented in the actual environment at empty space, the success rate of catheter reaching the designated target is 69%. In addition, the noise-implemented model shows that the success rate can be increased up to 88%. Through these experiments, the study verifies that a simulated learning model can be implemented in a robot system to control an actual catheter as well as that the success rate of the model can be increased using randomization noise. The Second is the control experiment of the catheter in an empty space without physical limitations, and the second is the control experiment using the heart model. the model was trained by using the simulation which contain the inserted angle change noise and step value change noise condition to reduce the reality gap. When the results from the simulated learning model are implemented in the actual environment with cardiac model, the success rate of catheter reaching the designated target is 70%.

#robot control #catheter #deep learning #simulation #reinforcement learning

ABSTRACT i
TABLE OF CONTENTS ii
List of figures iv
List of tables v
INTRODUCTION 1
BACKGROUND 4
1. Reinforcement learning 4
2. Duel deep Q learning 6
METHOD 7
1. Simulation configuration 7
1.1. Catheter model 8
1.2. Cardiac model 8
2. MDP 12
2.1. State 12
2.2. Action 12
2.3. Rewarding system 14
3. Network structure 14
4. Simulation training 16
4.1. Simulation condition 16
4.2. Randomization noise condition 16
5. Test system configuration 17
5.1. Robot control system 17
5.2. Sensing system 20
RESULT 23
1. Catheter model test result 23
1.1. Simulation training result 23
1.2. Real environment test result 23
2. Cardiac model test result 28
2.1. Simulation training result 28
2.2. Real environment test result 28
DiSCISSION 31
CONCLUSION 33
REFERENCE 34
APPENDIX 38
KOREAN ABSTRACT 39

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

이 논문의 연구 히스토리 (2)

초록· 키워드

목차

최근 본 자료

댓글(0)