지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2024.11
- 수록면
- 1,043 - 1,055 (13page)
- DOI
- 10.5909/JBE.2024.29.6.1043
이용수
초록· 키워드
오류제보하기
Text-to-image 생성 모델의 발달로 텍스트에 일치하는 이미지를 만드는 것이 가능하게 되었으나, 이러한 모델을 현실 세계에 바로 적용하기에는 여전히 고려해야 할 요소들이 존재한다. 특히 소설과 같이 긴 문장과 여러 단원으로 구성된 이야기에 대한 삽화를 생성하고자 할 경우 해당 매체가 가지는 특성을 반영하는 것이 중요하다. 따라서 본 논문은 Text-to-image 생성 모델을 활용하여 이야기에 대한 삽화를 생성하는 프레임워크를 제안한다. 프레임워크는 대규모 언어 모델을 사용하여 긴 문장을 요약하고, 자동화된 방식으로 사전에 구축된 장르별 데이터 셋에 기반한 Text-to-image 검색 및 스타일이 일관된 이미지 생성 방법을 통해 이야기에 대한 여러 장의 삽화를 생성한다. 최종적으로, 우리는 제안된 프레임워크와 기존 Text-to-image 생성 모델을 사용하는 경우를 정량적 및 정성적으로 분석하여, 제안된 프레임워크가 이야기에 대한 삽화 제작에 있어 유효함을 입증한다.
목차
요약
Abstract
Ⅰ. 서론
Ⅱ. 관련 연구
III. 제안방법
Ⅳ. 실험
Ⅴ. 한계점
Ⅵ. 결론
참고문헌 (References)
참고문헌 (22)
참고문헌 신청
R. Rombach, A. Blattmann, D. Lorenz, P. Esser, and B. Ommer, “High-Resolution Image Synthesis with Latent Diffusion Models,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, New Orleans, LA, USA, pp.10684-10695, 2022. doi: https://doi.org/10.1109/CVPR52688.2022.01042
C. Saharia, W. Chan, S. Saxena, L. Li, J. Whang, E. Denton, S. K. S. Ghasemipour, B. Karagol Ayan, S. S. Mahdavi, R. Gontijo-Lopes, T. Salimans, J. Ho, D. J. Fleet, M. Norouzi, “Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding,” Advances in Neural Information Processing Systems, pp.36479-36494, 2022. doi: https://doi.org/10.48550/arXiv.2205.11487
A. Nichol, P. Dhariwal, A. Ramesh, P. Shyam, P. Mishkin, B. McGrew, I. Sutskever, and M. Chen, “Glide: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models,” arXiv preprint arXiv:2112.10741, 2021. doi: https://doi.org/10.48550/arXiv.2112.10741
D. Podell, Z. English, K. Lacey, A. Blattmann, T. Dockhorn, J. Müller, J. Penna, and R. Rombach, “SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis,” International Conference on Learning Representations, Vienna, Austria, 2024. doi: https://doi.org/10.48550/arXiv.2307.01952
V. Liu, H. Qiao, and L. Chilton, “Opal: Multimodal Image Generation for News Illustration,” Proceedings of the 35th Annual ACM Symposium on User Interface Software and Technology (Bend, OR, USA), Association for Computing Machinery, New York, NY, USA, Article 73, pp.1-17, 2022. doi: https://doi.org/10.1145/3526113.3545621
C. Saharia, W. Chan, S. Saxena, L. Li, J. Whang, E. Denton, S. K. S. Ghasemipour, B. Karagol Ayan, S. S. Mahdavi, R. Gontijo-Lopes, T. Salimans, J. Ho, D. J. Fleet, M. Norouzi, “Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding,” Advances in Neural Information Processing Systems, pp.36479-36494, 2022. doi: https://doi.org/10.48550/arXiv.2205.11487
A. Nichol, P. Dhariwal, A. Ramesh, P. Shyam, P. Mishkin, B. McGrew, I. Sutskever, and M. Chen, “Glide: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models,” arXiv preprint arXiv:2112.10741, 2021. doi: https://doi.org/10.48550/arXiv.2112.10741
D. Podell, Z. English, K. Lacey, A. Blattmann, T. Dockhorn, J. Müller, J. Penna, and R. Rombach, “SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis,” International Conference on Learning Representations, Vienna, Austria, 2024. doi: https://doi.org/10.48550/arXiv.2307.01952
V. Liu, H. Qiao, and L. Chilton, “Opal: Multimodal Image Generation for News Illustration,” Proceedings of the 35th Annual ACM Symposium on User Interface Software and Technology (Bend, OR, USA), Association for Computing Machinery, New York, NY, USA, Article 73, pp.1-17, 2022. doi: https://doi.org/10.1145/3526113.3545621
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
텍스트 기반 이미지 생성 모델로 생성된 이미지의 신뢰성 분석 프레임워크
대한전자공학회 학술대회
2023 .06
-
최신 Text-to-Image 생성 모델의 동향
정보과학회지
2022 .12
-
텍스트 기반 이미지 생성 모델을 활용한 이야기의 장르를 반영한 일관된 이미지 생성 연구
한국방송미디어공학회 학술발표대회 논문집
2024 .06
-
Illustration Generation System Using Deep Learning For Complex Sentences in Fairy Tale.
한국컴퓨터게임학회논문지
2019 .01
-
프롬프트 형 기반 Text-to-Image 생성 모델 비교연구
한국정보과학회 학술발표논문집
2023 .06
-
3D 생성 모델과 2D 생성 모델의 Text-to-3D 생성에 관한 Trade-Off 분석
대한전자공학회 학술대회
2024 .06
-
Text-to-Image를 위한 아동 손그림 학습 모델 생성 연구
한국컴퓨터정보학회 학술발표논문집
2022 .07
-
텍스트 기반 얼굴 이미지 생성 시스템
한국통신학회 학술대회논문집
2022 .11
-
Self-Attention을 적용한 문장 임베딩으로부터 이미지 생성 연구
스마트미디어저널
2021 .01
-
Information mining from a Text Image using Smartphone
한국정보과학회 학술발표논문집
2019 .06
-
이미지 생성을 위해 노이즈를 이용한 GAN 시스템
한국정보통신학회논문지
2020 .06
-
텍스트-이미지 생성모델 기반 인물 기간별 안면 이미지 생성
대한전자공학회 학술대회
2023 .06
-
Text-To-3D Cinemagraphs for Generation of Visual Content in Disaster Alerts: A Generative AI Framework with LLMs and Diffusion Models
방송공학회논문지
2024 .09
-
Data-to-Text 생성을 위한 한국어 데이터셋 구축
한국정보과학회 학술발표논문집
2020 .07
-
T5 모델을 활용한 정밀도 높은 data-to-text 생성 방법론
한국정보과학회 학술발표논문집
2022 .12
-
텍스트-이미지 생성의 의미적 정합성 평가를 위한 듀얼 모델 기반 프레임워크
한국통신학회 학술대회논문집
2025 .02
-
Diffusion 기반 Text-to-Image모델의 이미지 역변환에 관한 연구
한국통신학회 인공지능 학술대회 논문집
2024 .09
-
대형 이미지 데이터셋 구축을 위한 객체 엣지 기반 이미지 생성 기법
전기전자학회논문지
2023 .09
-
Improvement of Background Inpainting using Binary Masking of a Generated Image
Journal of KIISE
2024 .06
-
A Study of Text Guided Image Generation Based on Diffusion Model
대한전자공학회 학술대회
2023 .06
이 논문과 함께 이용한 논문
A Study on the Vulnerability of Semantic Segmentation Model to Data Transformation
Chaewon Moon
,
Dong-hwi Kim
,
Dabin Kang
외 2명
방송공학회논문지
2024
.12
향상된 흉부 엑스레이 진단을 위한 멀티 클래스 토큰 기반 하이브리드 트랜스포머 모델
이창민
,
신호경
,
남우정
전자공학회논문지
2024
.11
NTN에서 조건부 핸드오버 실패율 감소를 위한 최적의 저궤도 위성 선정 알고리즘
서경희
,
권진솔
,
백호기
한국통신학회논문지
2024
.11
eBPF와 AdaBoost를 사용한 컨테이너 공격의 정확한 탐지 기법
신현석
,
조민정
,
유호상
외 2명
한국컴퓨터정보학회논문지
2024
.06
R/Shiny를 활용한 금융 조기경보시스템 개발
이용주
,
김영민
한국정보기술학회논문지
2024
.05
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-25-02-091185848