面向分布泛化的任意偏移提示
计算机视觉与模式识别
2024-02-16 v1
摘要
具有提示学习能力的图像 - 语言模型在众多下游视觉任务中取得了显著进展。然而，传统的提示学习方法会过拟合其训练分布，并在测试分布上失去泛化能力。为了改善各种分布偏移下的泛化性能，我们提出了任意偏移提示：一种通用的概率推理框架，它在提示学习过程中考虑了训练分布与测试分布之间的关系。我们通过构建分层架构中的训练提示和测试提示，在潜在空间中显式地连接训练和测试分布。在此框架内，测试提示利用分布关系来指导 CLIP 图像 - 语言模型从训练分布泛化到任意测试分布。为了有效地编码分布信息及其关系，我们进一步引入了一种具有伪偏移训练机制的 transformer 推理网络。该网络在前向传播中生成结合了训练和测试信息的定制测试提示，避免了测试时的额外训练成本。在二十三个数据集上的大量实验证明了任意偏移提示在各种分布偏移下泛化的有效性。
引用
@article{arxiv.2402.10099,
title = {Any-Shift Prompting for Generalization over Distributions},
author = {Zehao Xiao and Jiayi Shen and Mohammad Mahdi Derakhshani and Shengcai Liao and Cees G. M. Snoek},
journal= {arXiv preprint arXiv:2402.10099},
year = {2024}
}