基于贝叶斯跨模态对齐学习的少样本离群分布泛化
计算机视觉与模式识别
2025-04-23 v2 机器学习
摘要
近期大型预训练模型在少样本学习方面显示出良好的性能，但其在二维离群分布（OoD）数据上的泛化能力尚未得到充分调查。研究表明，即便拥有大量训练数据，许多方法也难以超越标准经验风险最小化方法（ERM）在 OoD 泛化上的表现。这种少样本 OoD 泛化困境成为深度神经网络泛化研究中的一个挑战性方向，表现受限于在少样本样本上的过拟合以及 OoD 泛化误差。本文利用更广泛的监督来源，探索了一种新颖的贝叶斯跨模态图像-文本对齐学习方法（Bayes-CAL）以解决此问题。具体而言，该模型仅通过贝叶斯建模方法对文本表示进行微调，并引入梯度正交化损失和不变风险最小化（IRM）损失。引入贝叶斯方法本质上是为了避免在训练期间观察到的基类上过拟合，从而提高对更广泛未观察类的泛化能力。该专门设计的损失函数通过解耦图像特征的因果与非因果部分，以实现更好的图像-文本对齐。数值实验表明，Bayes-CAL 在二维分布迁移上的 OoD 泛化性能实现了最新水平。此外，与 CLIP 类模型相比，Bayes-CAL 在未观察类的泛化性能更为稳定。我们的代码已公开于 https://github.com/LinLLLL/BayesCAL。
引用
@article{arxiv.2504.09448,
title = {Bayesian Cross-Modal Alignment Learning for Few-Shot Out-of-Distribution Generalization},
author = {Lin Zhu and Xinbing Wang and Chenghu Zhou and Nanyang Ye},
journal= {arXiv preprint arXiv:2504.09448},
year = {2025}
}
备注
Accepted by AAAI2023