基于自适应概率性高斯校准的多模态测试时适应
计算机视觉与模式识别
2026-04-22 v1 人工智能
摘要
多模态测试时适应( TT A)通过在推理阶段利用无标签目标数据来增强基准多模态模型对分布迁移的鲁棒性。尽管已有实证成功，但多模态 TTA 方法的发展仍受限于缺乏对类别条件分布的显式建模，这对于获得准确预测和可靠决策边界至关重要。标准的高斯判别分析(GDA)为类别条件分布提供了基础建模，在单模态情境中取得中等进展。然而，在多模态 TTA 场景中，模态分布的内在不对称性削弱了通过标准 GDA 建模类别条件分布的效果。为此，我们引入一种为多模态 TTA 量身定制的概率性高斯模型，以显式建模类别条件分布，进而提出一种自适应对比不对称校正技术，以抵消由模态不对称性引起的负面影响，从而得到校准的预测和可靠的决策边界。广泛的实验结果表明，在各种分布迁移情形下，我们的方法实现了最先进的性能。代码已公开于 https://github.com/XuJinglinn/AdaPGC。
引用
@article{arxiv.2604.19093,
title = {Multi-modal Test-time Adaptation via Adaptive Probabilistic Gaussian Calibration},
author = {Jinglin Xu and Yi Li and Chuxiong Sun and Xiao Xu and Jiangmeng Li and Fanjiang Xu},
journal= {arXiv preprint arXiv:2604.19093},
year = {2026}
}