Dropout提示学习：迈向鲁棒且自适应的视觉语言模型
计算机视觉与模式识别
2025-12-09 v1 人工智能
摘要
Dropout是一种广泛使用的正则化技术，通过随机丢弃神经元来提升模型的泛化能力。基于此，我们提出Dropout提示学习，旨在利用Dropout来提升视觉语言模型的鲁棒性。与传统的Dropout不同，我们在文本分支和视觉分支的token上施加Dropout，在评估token重要性时同时考虑模态内上下文和模态间对齐，为每个token赋予灵活的Dropout概率。此外，为了在保持语义对齐以实现通用知识迁移的同时鼓励Dropout引入的多样化表示，我们进一步提出了残差熵正则化。在15个基准数据集上的实验验证了我们方法在少样本学习、长尾分类和分布外泛化等挑战性场景下的有效性。特别地，我们的方法在基类到新类泛化性能上超越了包括KgCoOp（提升5.10%）和PromptSRC（提升2.13%）在内的正则化方法。
引用
@article{arxiv.2512.07234,
title = {Dropout Prompt Learning: Towards Robust and Adaptive Vision-Language Models},
author = {Biao Chen and Lin Zuo and Mengmeng Jing and Kunbin He and Yuchen Wang},
journal= {arXiv preprint arXiv:2512.07234},
year = {2025}
}