贝叶斯引导的标签映射用于视觉重编程
机器学习
2024-11-01 v1 计算机视觉与模式识别
摘要
视觉重编程（VR）通过适应预训练视觉模型的输入或输出接口来利用其内在能力，从而解决标签（即下游标签）可能与预训练模型关联标签（即预训练标签）完全不同的下游任务。在适应输出接口时，标签映射方法通过建立预训练标签与下游标签之间的梯度-free 一对一对应关系，将预训练标签转换为下游标签。然而，本文揭示，一对一映射可能忽略了预训练标签与下游标签之间复杂的关系。基于这一观察，我们提出了贝叶斯引导的标签映射（BLM）方法。BLM构建一个迭代更新的概率标签映射矩阵，矩阵中每个元素量化了预训练标签与下游标签之间的两两关系。矩阵中值得分配由贝叶斯条件概率引导，考虑下游标签与预训练模型在下游样本上预测标签的联合分布。在ResNeXt等预训练视觉模型和CLIP等视觉语言模型上的实验表明，BLM在现有标签映射方法之上表现出优越性能。BLM的成功也为通过概率视角理解和分析VR的有效性提供了可能。我们的代码已公开：https://github.com/tmlr-group/BayesianLM。
引用
@article{arxiv.2410.24018,
title = {Bayesian-guided Label Mapping for Visual Reprogramming},
author = {Chengyi Cai and Zesheng Ye and Lei Feng and Jianzhong Qi and Feng Liu},
journal= {arXiv preprint arXiv:2410.24018},
year = {2024}
}