MINT：CLIP 测试阶段的记忆注入提示微调
计算机视觉与模式识别
2025-06-05 v1 人工智能
摘要
在测试时数据分布偏移下提升视觉-语言预训练模型的泛化能力仍是一项关键挑战。现有的测试时适应方法未能充分利用模型的内部知识，特别是在动态适应复杂且层次化的视觉语义信息方面。在本文中，我们提出了记忆注入提示微调，一个解决该问题的新框架。受人类联想记忆理论启发，MINT 引入了记忆提示库，存储可学习的键值提示对，作为先前见过样本的记忆。在测试时，通过测试图像的层次化视觉特征检索 MPB 中相关的提示对，以动态组装联想提示。随后，将联想提示注入图像编码器，提供细粒度、定制化的视觉上下文指导。MINT 还利用了可学习的文本提示。因此，MINT 通过利用 MPB 获取的记忆，无需源数据或重训练，即可在测试时实现快速、精确的 VLM 适应。代码可在 https://github.com/Jamieyi2004/MINT 获取。
引用
@article{arxiv.2506.03190,
title = {MINT: Memory-Infused Prompt Tuning at Test-time for CLIP},
author = {Jiaming Yi and Ruirui Pan and Jishen Yang and Xiulong Yang},
journal= {arXiv preprint arXiv:2506.03190},
year = {2025}
}
备注
14 pages, 3 figures