BDC-Adapter：用于改进视觉-语言推理的布朗距离协方差方法
计算机视觉与模式识别
2023-09-06 v1 计算与语言
摘要
大规模预训练视觉-语言模型（VLM），如 CLIP 和 ALIGN，为学习可迁移的视觉表征引入了新范式。近来，研究者对开发轻量级微调技术以将这些模型适配到下游视觉任务产生了浓厚兴趣。我们认识到，当前最先进的微调方法（如 Tip-Adapter）仅考虑查询图像特征与支持少样本训练样本特征之间的协方差，这只能捕捉线性关系，并可能引发对独立性的误导性认知。为解决此问题，本文创新性地将布朗距离协方差（BDC）引入视觉-语言推理领域。BDC 度量能够建模所有可能的关系，为衡量特征依赖性提供鲁棒度量。基于此，我们提出一种称为 BDC-Adapter 的新方法，其整合 BDC 原型相似性推理与多模态推理网络预测来执行分类任务。我们广泛的实验结果表明，所提出的 BDC-Adapter 能够自由处理非线性关系并充分刻画独立性，以大幅优势超越当前最先进的方法。
引用
@article{arxiv.2309.01256,
title = {BDC-Adapter: Brownian Distance Covariance for Better Vision-Language Reasoning},
author = {Yi Zhang and Ce Zhang and Zihan Liao and Yushun Tang and Zhihai He},
journal= {arXiv preprint arXiv:2309.01256},
year = {2023}
}
备注
Accepted by BMVC 2023