공감각 기반 입체영상-입체음향 변환 임베디드시스템의 설계 및 구현 :Design and Implementation of the Embedded System for converting 3D-Image into 3D-Sound based on Synesthesia

배명진

추천

검색

자료유형: 학위논문

저자정보: 배명진 (경남대학교, 경남대학교 대학원)

지도교수: 김성일

발행연도: 2021

저작권: 경남대학교 논문은 저작권에 의해 보호받습니다.

이용수14

이 논문의 연구 히스토리 (3)

2022

시 · 청각 인지능력 향상을 위한 공감각 기반 입체영상-입체음향 변환 시스템

배명진 , 김성일 디지털콘텐츠학회논문지 2022.01 학술저널

2021

공감각 기반 입체영상-입체음향 변환 임베디드시스템의 설계 및 구현

배명진 첨단공학과 2021.01 학위논문

2020

의도적인 공감각 기반 영상-음악 변환 시스템 구현

배명진 , 김성일 전기전자학회논문지 2020.03 학술저널

이 논문의 후속연구가 궁금하신가요?
연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
이 논문의 연구 히스토리 확인하기

초록· 키워드

오류제보하기

본 논문은 공감각을 느끼지 못하는 비공감각자가 학습을 통해 감각 간의 전이 현상인 공감각을 느낄 수 있는 의도적인 공감각(Intentional Synesthesia)을 이용해 입체영상에서 입체음향으로 변환하는 시스템을 제안하고 구현하였다.
입체영상에서 변환하는 정보는 영상의 3요소인 색상(Color), 질감(Texture), 모양(Shape)을 사용하였고 영상의 입체감은 물체와 카메라와의 거리를 표시하는 깊이(Depth) 값을 사용하였다. 입체음향에서 변환하는 정보는 음악의 3요소인 멜로디(Melody), 하모니(Harmony), 리듬(Rhythm)을 사용하였고 음향의 입체감은 3차원 좌표인 공간(Space) 정보를 사용하였다.
입체영상과 입체음향의 변환 관계를 학습으로 인지할 수 있어야 하므로 변환 관계가 복잡하지 않도록 각 요소를 일대일 대응하도록 설계하였다.
동일한 출력이 반복되는 것을 최소화하고 영상정보를 최대한 표현하기 위해 분포도에 따른 확률적 선택 방식을 사용하여 출력함으로써 변환 관계는 유지하면서 자연스러운 음향을 출력할 수 있도록 하였다.
입체영상에서 색상은 HSV 색 공간 모델의 색상(Hue: 0°∼360°)을 12가지 색으로 정규화하여 입체음향의 멜로디 4옥타브 반음과 온음 12개 음계에 대응하여 색상분포에 따라 확률적으로 음계를 출력할 수 있도록 하였다. 질감의 표현은 통계적 특징 추출방식인 GLCM(Gray-Level Co-occurrence Matrix)의 7가지 특징으로 질감 데이터를 하모니의 장조와 단조로 표현하였다.
모양의 표현은 영상의 외곽선을 추출한 후 주파수 성분 분석인 허프 변환(Hough Transform)을 사용해 선 성분을 검출해 선 성분의 각도 분포에 따라 리듬을 선택하는 방식으로 음향을 생성하였다. 마지막으로 영상의 입체감은 사물과 카메라와의 거리인 깊이를 음향의 공간에 3차원 좌표로 매핑(Mapping)해 표현하였다. 입체영상과 입체음향의 변환 관계를 임베디드시스템에 적용해 변환됨을 확인하였다.

We propose and implement a system that converts synesthesia from 3d-image to 3d-sound with intentional synesthesia, where people who do not feel synesthesia can perceive synesthesia phenomena with learning.
Since people need to be able to recognize the transformation relationship between 3d-video and 3d-music, we design each element to be one-to-one to avoid complicated transformation relationships.
The information converted from 3d-image used the three elements of the image: Color, Texture, and Shape, while 3d in the image used depth values indicating the distance between the object and the camera. Information converted from 3d-music used the three elements of the music: melody, harmony, and rhythm, while 3d of sound used space information, which is three dimensional coordinates.
To minimize the repetition of the same output and maximize the representation of image information, we use stochastic selection methods according to distribution plots to enable natural sound output while maintaining transformation relationships.
In the 3d-image, the color normalizes the HSV color space model''s color (Hue: 0° to 360°) to 12 colors, allowing the scale to be output probabilistically according to the color distribution in response to the 3d-sound melody 4 octave and note scales. The representation of textures is represented by seven features of the statistical feature extraction method, GLCM(Gray-Level Co-occurrence Matrix), in which textured data are represented in harmonies'' major and minor.
After extracting the outline of the image, the representation of the shape uses Hough Transform, a frequency component analysis, to detect the line component and then select the rhythm according to the angular distribution of the line component. Finally, 3d of the image is represented by mapping depth, which is the distance between the object and the camera, to the acoustic space in three-dimensional coordinates. We apply the transformation relationship between 3d-images and 3d-sounds to embedded systems to confirm that they are transformed.

#의도적인 공감각 #입체영상 #입체음향 #임베디드시스템 #Intensonal Synesthesia #3D-Image #3D-Sound #EmbeddedSystem

국문요약
I. 서 론 = 1
1. 연구의 배경 = 1
2. 연구의 목적 및 구성 = 5
II. 선행연구 = 8
1. 공감각 = 8
2. 색-음 변환 연구 = 11
2.1) 색의 3요소 = 13
2.2) 음의 3요소 = 18
3. 의도적인 공감각 = 21
4. 영상-음악 변환 연구 = 32
4.1) 영상의 3요소 = 35
4.2) 음악의 3요소 = 48
III. 실험 방법 = 53
1. 제안하는 변환 방법 53
1.1) 영상(색상) - 음향(멜로디) 변환 = 57
1.2) 영상(질감) - 음향(하모니) 변환 = 59
1.3) 영상(모양) - 음향(리듬) 변환 = 61
1.4) 영상(깊이) - 음향(공간) 변환 = 64
1.5) 임베디드시스템 = 67
IV. 실험 결과 = 76
1. 영상(색상)-음악(멜로디) 변환 결과 = 76
2. 영상(질감)-음악(하모니) 변환 결과 = 77
3. 영상(모양)-음악(리듬) 변환 결과 = 78
4. 영상(깊이)-음악(공간) 변환 결과 = 80
V. 결론 = 84
참고문헌 = 86
ABSTRACT = 90

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

이 논문의 연구 히스토리 (3)

초록· 키워드

목차

최근 본 자료

댓글(0)