面向多模态损坏的解析持续测试时自适应
机器学习
2025-07-29 v2 人工智能
摘要
测试时自适应 (TTA) 使预训练模型能够利用无标签测试数据弥合源数据集与目标数据集之间的差距，解决由测试时的天气变化、噪声或传感器故障等损坏引起的领域偏移。多模态持续测试时自适应 (MM-CTTA) 作为标准 TTA 的扩展，进一步允许模型处理多模态输入并适应持续演变的目标领域。然而，MM-CTTA 面临灾难性遗忘和可靠性偏差等关键挑战，这些在多模态损坏场景下很少得到有效解决。在本文中，我们提出了一种新颖的方法——多模态动态解析适配器 (MDAA)，以应对 MM-CTTA 任务。MDAA 引入了解析学习，一种通过解析分类器 (ACs) 实现的闭式训练技术，以缓解灾难性遗忘。此外，我们设计了动态延迟融合机制 (DLFM)，以动态选择和整合来自不同模态的可靠信息。大量实验表明，MDAA 在所提出的任务上达到了最先进的性能。
引用
@article{arxiv.2410.22373,
title = {Analytic Continual Test-Time Adaptation for Multi-Modality Corruption},
author = {Yufei Zhang and Yicheng Xu and Hongxin Wei and Zhiping Lin and Xiaofeng Zou and Cen Chen and Huiping Zhuang},
journal= {arXiv preprint arXiv:2410.22373},
year = {2025}
}