SEVA：利用单步邻域增强集成进行测试时自适应
计算机视觉与模式识别
2025-05-08 v1
摘要
测试时自适应（TTA）旨在通过在推理期间进行快速模型自适应来增强模型对分布偏移的鲁棒性。虽然现有的 TTA 方法通常依赖于基于熵的无监督训练并取得了有希望的结果，但单轮熵训练的常见做法通常无法充分利用可靠样本，阻碍了自适应效率。在本文中，我们发现增强策略可以有效地释放可靠样本的潜力，但快速增长的计算成本阻碍了它们的实时应用。为了解决这一限制，我们提出了一种名为单步邻域增强集成（SEVA）的新型 TTA 方法，该方法能够在不增加计算负担的情况下利用数据增强的优势。具体来说，SEVA 并非显式地利用增强策略来生成新数据，而是开发了一个理论框架来探索多种增强对模型自适应的影响，并提出优化熵损失的一个上界，从而将多轮增强训练的效果整合到单步中。此外，我们发现并验证了使用该上界作为损失函数更有利于选择机制，因为它可以有效地过滤掉混淆模型的有害样本。结合这两个关键优势，所提出的高效损失函数和互补的选择策略可以同时提升可靠样本的潜力并满足 TTA 严格的时间要求。在具有挑战性的测试场景下，对各种网络架构进行的全面实验证明了 SEVA 的卓越性能和广泛适应性。代码将公开发布。
引用
@article{arxiv.2505.04087,
title = {SEVA: Leveraging Single-Step Ensemble of Vicinal Augmentations for Test-Time Adaptation},
author = {Zixuan Hu and Yichun Hu and Ling-Yu Duan},
journal= {arXiv preprint arXiv:2505.04087},
year = {2025}
}