通过渐进式对齐实现多模态测试时适应中的跨模态桥接
机器学习
2026-03-24 v2 计算机视觉与模式识别
摘要
测试时适应 (TTA) 通过仅使用无标签测试数据实现在线模型适应，旨在弥合源分布与目标分布之间的差距。然而，在多模态场景中，不同模态上呈现的分布偏移程度各异，导致单模态浅层特征漂移与跨模态高层语义错位之间形成复杂的耦合效应，这成为将现有 TTA 方法扩展到多模态领域的主要障碍。为此，本文提出一种新型多模态测试时适应 (MMTTA) 框架，称为通过渐进式对齐桥接模态 (BriMPR)。BriMPR 包含两个逐步增强的模块，采用分而治之策略来应对这种耦合效应。具体而言，本文首先将 MMTTA 分解为多个单模态特征对齐子问题。通过利用提示调谐的强函数逼近能力，我们校准单模态全局特征分布以匹配其各自的源分布，从而实现跨模态的初始语义对齐。随后，我们为掩码模态与完整模态的组合分配可信伪标签，并引入跨模态的实例级对比学习，以进一步增强模态之间的信息交互并细化对齐。大量实验在包括基于损坏和真实世界域迁移基准的 MMTA 任务上均表明我们的方法优于现有方法。我们的源代码已公开于 https://github.com/Luchicken/BriMPR。
引用
@article{arxiv.2511.22862,
title = {Bridging Modalities via Progressive Re-alignment for Multimodal Test-Time Adaptation},
author = {Jiacheng Li and Songhe Feng},
journal= {arXiv preprint arXiv:2511.22862},
year = {2026}
}
备注
Accepted by AAAI 2026 (Oral)