지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술저널
- 저자정보
- 발행연도
- 2024.12
- 수록면
- 1,380 - 1,388 (9page)
- DOI
- 10.5302/J.ICROS.2024.24.0238
이용수
초록· 키워드
오류제보하기
Image captioning is the task of generating descriptive text for a given image, and there are two primary approchaes: fully supervised learning and text-only training. While the fully supervised approach sufferes from dataset limitations and generalization issues, the text-only training approach can address these challenges but faces modality gap between images and text in VLMs. In this study, we propose SIMCAP, an image captioning method that mitigates these modality differences whitin the text-only training. SIMCAP employs similar text retrieval to incorporate text modality and utilizes a meta-network to reflect image modality. Additionally, a mapping network is used to generate prompts that enhance the understanding of the relationship between images and text, facilitating improved text generation. Our experiments show that SIMCAP outperforms existing methods and a through analysis of its componets confirms.
목차
Abstract
I. 서론
II. 관련연구
III. 본론
IV. 실험
V. 결론
REFERENCES
참고문헌 (43)
참고문헌 신청
L. Chen, H. Zhang, J. Xiao, L. Nie, J. Shao, W. Liu, and T. S. Chua “SCA-CNN: spatial and channel-wise attention in convolutional networks for image captioning,” Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 5659-5667, 2017.
P. Anderson, X. He, C. Buehler, D. Teney, M. Johnson, S. Gould, and L. Zhang, “Bottom-up and top-down attention for image captioning and visual question answering,” Proc. of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 6077–6086, 2018. doi: http://dx.doi.org/10.1007/s12555-020-0982-8
S. Herdade, A. Kappeler, K. Boakye, and J. Soares, “Image captioning: transforming objects into words,” Advances in Neural Information Processing Systems, Curran Associates, Inc., 2019.
Y. Huang, H. Xue, B. Liu, and Y. Lu, “Unifying multimodal transformer for bi-directional image and text generation,” Proceedings of the 29th ACM International Conference on Multimedia, Association for Computing Machinery, pp. 1138–1147, 2021.
X. Zhang, X. Sun, Y. Luo, J. Ji, Y. Zhou, Y. Wu, F. Huang, and R. Ji, “RSTNet: Captioning with adaptive attention on visual and non-visual words,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 15465–15474, 2021.
P. Anderson, X. He, C. Buehler, D. Teney, M. Johnson, S. Gould, and L. Zhang, “Bottom-up and top-down attention for image captioning and visual question answering,” Proc. of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 6077–6086, 2018. doi: http://dx.doi.org/10.1007/s12555-020-0982-8
S. Herdade, A. Kappeler, K. Boakye, and J. Soares, “Image captioning: transforming objects into words,” Advances in Neural Information Processing Systems, Curran Associates, Inc., 2019.
Y. Huang, H. Xue, B. Liu, and Y. Lu, “Unifying multimodal transformer for bi-directional image and text generation,” Proceedings of the 29th ACM International Conference on Multimedia, Association for Computing Machinery, pp. 1138–1147, 2021.
X. Zhang, X. Sun, Y. Luo, J. Ji, Y. Zhou, Y. Wu, F. Huang, and R. Ji, “RSTNet: Captioning with adaptive attention on visual and non-visual words,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 15465–15474, 2021.
함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
검색 증강 및 퓨전 모듈 적용을 통한 텍스트 전용 이미지 캡셔닝 강화 연구
대한전자공학회 학술대회
2024 .06
-
Information mining from a Text Image using Smartphone
한국정보과학회 학술발표논문집
2019 .06
-
최신 Text-to-Image 생성 모델의 동향
정보과학회지
2022 .12
-
전문성 이식을 통한 딥러닝 기반 전문 이미지 해석 방법론
지능정보연구
2020 .06
-
저품질 이미지에 강인한 문자 검출 방법
대한전자공학회 학술대회
2021 .11
-
한국어 및 영어 이미지 캡션이 가능한 범용적 모델 및 목적에 맞는 텍스트를 생성해주는 기법
한국정보통신학회논문지
2022 .08
-
태그 정보를 활용한 이미지 검색 모듈 프롬프팅
대한전자공학회 학술대회
2024 .06
-
프롬프트 형 기반 Text-to-Image 생성 모델 비교연구
한국정보과학회 학술발표논문집
2023 .06
-
Improvement of Text-Guided Image Editing Using Image Captioning
한국정보과학회 학술발표논문집
2024 .06
-
사전 학습된 Image Captioning 모델의 특수 도메인 데이터셋을 통한 미세 조정에 대한 연구
대한전자공학회 학술대회
2023 .06
-
일관성 있는 이야기 삽화 생성을 위한 Text-to-image 생성 모델 활용 연구
방송공학회논문지
2024 .11
-
텍스트-비디오 검색 모델에서의 캡션을 활용한 비디오 특성 대체 방안 연구
대한임베디드공학회논문지
2022 .12
-
VLM을 활용한 이미지 캡셔닝 연구 동향
한국정보과학회 학술발표논문집
2023 .06
-
Image Visual Description Model
IEIE Transactions on Smart Processing & Computing
2020 .04
-
장면 이미지 속 한글 문자 인식을 위한 글자 단위 일관성 정규화 기반의 준지도학습 모델
대한산업공학회 추계학술대회 논문집
2022 .11
-
Exploring the Characteristics of Large-Scale Text to Image Prompt Datasets
대한산업공학회 춘계공동학술대회 논문집
2023 .05
-
Diffusion 기반 Text-to-Image모델의 이미지 역변환에 관한 연구
한국통신학회 인공지능 학술대회 논문집
2024 .09
-
회전 심볼-텍스트 통합인식모델을 활용한 이미지 형식 P&ID 인식기법
한국CDE학회 논문집
2025 .03
-
Image Captioning과 Visual Question Answering을 이용한 위성 이미지 기반 도시 변화 탐지 모델
한국정보과학회 학술발표논문집
2024 .06
-
이미지 캡셔닝을 위한 스타일이 반영된 데이터 생성 기술
제어로봇시스템학회 논문지
2023 .12
이 논문과 함께 이용한 논문
최근 본 자료
댓글(0)
0
UCI(KEPA) : I410-151-25-02-091212831