多样性感知的元视觉提示

我们提出多样性感知的元视觉提示（DAM-VP），一种高效且有效的提示方法，用于将预训练模型迁移到下游任务并冻结主干网络。视觉提示中的一个挑战性问题是，图像数据集有时具有很大的数据多样性，而每个数据集的通用提示很难恰当地处理朝向原始预训练数据分布的复杂分布偏移。为解决此问题，我们提出一种数据集多样性感知的提示策略，其初始化由元提示实现。具体而言，我们以多样性自适应方式将下游数据集聚类为小的同质子集，每个子集拥有单独优化的提示。这种分而治之的设计大大降低了优化难度并显著提升了提示性能。此外，所有提示均用跨多个数据集学习的元提示初始化。这是一种自举范式，其关键观察是先前数据集上学到的提示知识可帮助提示在新数据集上更快收敛且表现更好。在推理期间，我们根据输入与每个子集之间的特征距离动态为每个输入选择合适的提示。通过大量实验，我们的 DAM-VP 展现出优越的效率和有效性，在不同预训练模型的一系列下游数据集中明显超越先前的提示方法。我们的代码可在：\url{https://github.com/shikiw/DAM-VP} 获取。