A$_3$B$_2$: 用于缓解视觉语言图像分类中分支偏差的自适应非对称适配器
计算机视觉与模式识别
2026-05-19 v2 机器学习
摘要
大规模视觉语言模型（如 CLIP）的高效迁移学习方法能够实现强大的零样本迁移，但现有的适应方法遵循固定的微调范式，隐式地假设图像和文本分支的重要性是均匀的，这在图像分类中尚未得到系统性研究。通过大量分析，我们揭示了视觉语言图像分类中的分支偏差问题：在非分布移出的设置下，对图像编码器进行适应并不一定能提升性能。鼓励此观察，我们提出了 AB，一种自适应非对称适配器，用于缓解零样本学习中的分支偏差。AB引入不确定性感知适配器衰减（UAAD），自动抑制预测不确定性较高时的图像分支适应，实现软性且数据驱动的控制，无需人工干预。从结构上看，AB采用受混合专家设计启发的轻量级非对称结构。对三个跨越 11 个数据集的零样本图像分类任务进行大量实验，表明 AB consistently 超过 11 个具有竞争力的提示和适配器基线。
引用
@article{arxiv.2605.13161,
title = {A$_3$B$_2$: Adaptive Asymmetric Adapter for Alleviating Branch Bias in Vision-Language Image Classification with Few-Shot Learning},
author = {Yiyun Zhou and Zhonghua Jiang and Wenkang Han and Kunxi Li and Mingjing Xu and Chang Yao and Jingyuan Chen},
journal= {arXiv preprint arXiv:2605.13161},
year = {2026}
}
备注
Accepted by IJCAI 2026