지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학술대회자료
- 저자정보
- 발행연도
- 2024.6
- 수록면
- 2,810 - 2,814 (5page)
이용수
초록· 키워드
오류제보하기
Fine-tuning leverages a large model"s domain knowledge for downstream datasets but is inefficient as it requires training the entire model. To address this, prompt learning has emerged as an efficient method for vision-language models. It involves using small learnable weights to train only the prompt without tuning the backbone model. Previous prompt learning research focused on aligning text and images but did not identify which layers and heads of the architecture are important. To address this issue, the proposed a prompt learning method based on attention decomposition[3] and knowledge distillation, where tokens are generated according to the layers and heads of a vision-language model. Our method improved generalization performance on unseen data for classification tasks, as verified through benchmark classification datasets.
목차
Abstract
Ⅰ. 서론
Ⅱ. 본론
Ⅲ. 실험 결과 및 분석
Ⅳ. 결론 및 향후 연구 방향
참고문헌
참고문헌 (0)
참고문헌 신청함께 읽어보면 좋을 논문
논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!
-
Exploring the Characteristics of Large-Scale Text to Image Prompt Datasets
대한산업공학회 춘계공동학술대회 논문집
2023 .05
-
지식그래프 기반 이미지 생성 프롬프트 체인 구조화 연구
Proceedings of KIIT Conference
2023 .11
-
Adaptation of A Hierarchical Cumulative Prompting with Generative Large-scale Language Models in the Legal Domain
Journal of KIISE
2024 .07
-
Group-wise Prompt Learning for Vision-Language Models
한국정보과학회 학술발표논문집
2024 .06
-
ChatGPT 기반의 판결문 데이터 자동 라벨링 분석
Proceedings of KIIT Conference
2023 .11
-
프롬프트 기반 자연어 생성 모델을 이용한 모델 간 상호 지식 증류 및 데이터 생성 파이프라인
한국정보과학회 학술발표논문집
2023 .06
-
생성형 모델 기반 이미지 변환 성능 향상을 위한 프롬프트 자동화 연구
멀티미디어학회논문지
2025 .02
-
Prompt를 활용한 단어 의미 중의성 해소
대한전자공학회 학술대회
2022 .06
-
Regression Task 수행을 위한 대규모 언어 모델의 적합한 Prompt 선 정 및 파라미터 영향 분석
대한기계학회 춘추학술대회
2024 .11
-
시각-언어 모델을 위한 이미지 개별 프롬프트 학습
한국통신학회 학술대회논문집
2024 .06
-
도메인 지식 증류: 도메인 지식 이전을 위한 증류 방법론
대한전자공학회 학술대회
2023 .06
-
Pre-trained Continuous Prompts 에 기반한 한국어 자연언어처리
한국정보과학회 학술발표논문집
2022 .06
-
이질적 지식증류를 활용한 텍스트 분류 방법론
한국컴퓨터정보학회논문지
2022 .10
-
학습 가능한 멀티모달 프롬프트를 활용한 멀티 어텐션 기반 보행자 속성 인식
대한전자공학회 학술대회
2024 .06
-
데이터 없는 상황에서의 확산 기반 이미지 생성 모델 지식 증류
대한전자공학회 학술대회
2024 .11
-
사전학습 언어모델과 Soft Prompting 기법을 활용한 온라인 고객 리뷰 감정 분석 연구
한국정보과학회 학술발표논문집
2022 .06
-
Thesaurus와 TTA를 이용한 Stable Diffusion 사용자 프롬프트의 의미론적 확장 및 생성 방법
정보과학회 컴퓨팅의 실제 논문지
2024 .10
-
경량화된 딥러닝 모델의 성능 보완을 위한 지식 증류 기반의 미세 조정 기법
대한전자공학회 학술대회
2022 .06
-
도메인 일반화를 위한 프롬프트 가이드
한국정보과학회 학술발표논문집
2024 .12
-
프롬프트 형 기반 Text-to-Image 생성 모델 비교연구
한국정보과학회 학술발표논문집
2023 .06
최근 본 자료
댓글(0)
0