基于 transduction 提升视觉语言模型性能
计算机视觉与模式识别
2024-06-05 v1
摘要
transduction 是一种强大的范式，利用无标签数据结构以提升预测准确性。我们提出 TransCLIP，一种新颖且计算高效的面向视觉语言模型 (VLM) 的 transductive 方法。TransCLIP 可作为流行的 inductive 零样态和few-shot模型的可插即模块，始终能提升其性能。我们的新目标函数可视为正则化的最大似然估计，受 KL 散度惩罚约束，集成文本编码器知识并引导 transductive 学习进程。我们进一步推导一种迭代的块级最大-最小 (BMM) 优化程序，保证收敛并实现样本分配的解耦，为大规模数据集提供计算高效的 transduction。我们报告了全面评估、比较和消融研究，证明：(i) transduction 能显著提升 inductive 预训练零样态和few-shot VLM 的泛化能力；(ii) TransCLIP 在不仅仅基于视觉特征的标准 transductive few-shot 学习方法上显著优于，尤其是由于基于 KL 的语言约束。
引用
@article{arxiv.2406.01837,
title = {Boosting Vision-Language Models with Transduction},
author = {Maxime Zanella and Benoît Gérin and Ismail Ben Ayed},
journal= {arXiv preprint arXiv:2406.01837},
year = {2024}
}