通过自适应熵优化实现稳健的多模态开放集测试时适应
计算机视觉与模式识别
2025-01-24 v1 人工智能
机器学习
摘要
测试时适应（TTA）在解决训练数据与测试数据之间的分布偏移方面展现出巨大的潜力。开放集测试时适应（OSTTA）旨在在包含未知类别的无标签目标域中在线适应源预训练模型。当涉及多模态数据时，这一任务变得更加具有挑战性。现有方法主要关注单模态OSTTA，往往在不解决多模态数据复杂性的情况下过滤掉低置信度样本。本文首次针对多模态开放集测试时适应（MM-OSTTA）提出了自适应熵优化（AEO）框架。我们的分析表明，目标域中已知样本与未知样本之间的熵差与MM-OSTTA性能强烈相关。为利用这一点，我们提出了两个关键组件：未知感知自适应熵优化（UAE）和自适应模态预测差异优化（AMP）。这些组件通过放大已知样本与未知样本之间的熵差，增强模型在在线适应期间区分未知类别样本的能力。为全面评估在MM-OSTTA设置下的我们的方法，我们建立了一个新基准，源自现有数据集。该基准包括两个下游任务，并包含五种模态。广泛的实验在各种分布偏移情境下显示了AEO框架的有效性和通用性。此外，我们突出了AEO在长期和持续MM-OSTTA设置中的强大性能，这两种情境都具有挑战性且高度符合实际应用需求。我们的源代码可在https://github.com/donghao51/AEO获取。
引用
@article{arxiv.2501.13924,
title = {Towards Robust Multimodal Open-set Test-time Adaptation via Adaptive Entropy-aware Optimization},
author = {Hao Dong and Eleni Chatzi and Olga Fink},
journal= {arXiv preprint arXiv:2501.13924},
year = {2025}
}
备注
Accepted by ICLR 2025