对齐你的提示：基于分布对齐的测试时提示用于零样本泛化
计算机视觉与模式识别
2024-01-12 v2
摘要
CLIP 等视觉-语言模型颇具前景的零样本泛化能力，已促使它们通过提示学习被用于众多下游任务。已有工作表明，利用熵最小化的测试时提示调优可适配文本提示至未知领域。虽有效，却忽视了性能在未知领域退化的关键成因——分布偏移。本工作中，我们显式处理该问题：通过提示调优将分布外（OOD）测试样本统计量与源数据对齐。我们使用单个测试样本，在测试时通过最小化特征分布偏移来适配多模态提示，以弥合测试领域的鸿沟。在域泛化基准上评估，我们的方法将零样本 top-1 准确率提升至超越现有提示学习技术，较基线 MaPLe 提高 3.08%。在跨 10 个数据集、含未知类别的跨数据集泛化中，相较现有最先进方法，我们的方法在所有数据集上均持续提升。源代码与模型见 https://jameelhassan.github.io/promptalign。
引用
@article{arxiv.2311.01459,
title = {Align Your Prompts: Test-Time Prompting with Distribution Alignment for Zero-Shot Generalization},
author = {Jameel Hassan and Hanan Gani and Noor Hussein and Muhammad Uzair Khattak and Muzammal Naseer and Fahad Shahbaz Khan and Salman Khan},
journal= {arXiv preprint arXiv:2311.01459},
year = {2024}
}
备注
Accepted to NeurIPS 2023