平滑迁移：面向复杂多模态噪声下的稳定测试时自适应

测试时自适应（TTA）旨在利用无标签测试数据在不访问源数据的情况下应对分布偏移。在多模态数据的背景下，存在比单模态数据更复杂的噪声模式，例如多个模态的同步损坏和模态缺失。此外，在实际应用中，来自不同分布偏移的损坏总是混合在一起的。现有的TTA方法在此类多模态场景下总是失败，因为突发的分布偏移会破坏源模型的先验知识，从而导致性能下降。为此，我们揭示了一个名为多模态野性TTA的新挑战。为了解决这一具有挑战性的问题，我们提出了两种新策略：基于四分位距平滑和单模态辅助的样本识别，以及互信息共享（SuMi）。SuMi通过四分位距平滑适应过程，从而避免突发的分布偏移。然后，SuMi充分利用单模态特征来选择具有丰富多模态信息的低熵样本进行优化。此外，引入互信息共享来对齐信息、减少差异并增强跨不同模态的信息利用。在两个公开数据集上的大量实验表明，在多模态数据的复杂噪声模式下，所提方法有效且优于现有方法。代码可在 https://github.com/zrguo/SuMi 获取。