面向动态在线数据流的全测试时适应的分布对齐
机器学习
2024-07-18 v1 计算机视觉与模式识别
摘要
给定在源数据上训练的模型，测试时适应(TTA)使模型能够在来自源分布的测试数据流中进行适应和推断。当前方法主要针对每个传入的测试数据批次使用自训练损失进行优化。在理想的测试数据流中，各批次独立同分布(i.i.d.)地采样自目标分布，方法能取得优异结果；但在更实际的非独立同分布(non-i.i.d.)测试数据流中，这些方法会失效。非i.i.d.数据流中各批次的数据标签相互之间存在显著的偏移，这会导致在TTA过程中各批次之间存在冲突的优化目标。鉴于将源模型适应至不可预测的测试时分布具有内在风险，我们反向进行适应过程，提出一种用于TTA的分布对齐损失。该损失引导测试时特征的分布回归到源分布，从而确保与经过良好训练的源模型兼容，消除冲突优化目标的困境。此外，我们构建了一种域迁移检测机制，以延续所提出TTA方法在持续域迁移情景中的成功。我们的广泛实验验证了该方法的逻辑与有效性。在六个基准数据集上，我们在非i.i.d.情景下超越了现有方法，在理想的i.i.d.假设下保持竞争性能。
引用
@article{arxiv.2407.12128,
title = {Distribution Alignment for Fully Test-Time Adaptation with Dynamic Online Data Streams},
author = {Ziqiang Wang and Zhixiang Chi and Yanan Wu and Li Gu and Zhi Liu and Konstantinos Plataniotis and Yang Wang},
journal= {arXiv preprint arXiv:2407.12128},
year = {2024}
}
备注
Accepted to ECCV 2024