DELTA：无退化的全测试时自适应
机器学习
2023-01-31 v1 计算机视觉与模式识别
摘要
全测试时自适应旨在实时推理过程中将预训练模型适配到测试流，当测试分布与训练分布不同时亟需此类方法。已有若干工作致力于改进自适应性能。然而，我们发现诸如测试时批归一化（BN）和自学习等主流自适应方法中隐藏著两个不良缺陷。首先，我们揭示测试时 BN 中的归一化统计量完全受当前接收的测试样本影响，导致估计不准确。其次，我们表明在测试时自适应期间，参数更新偏向于某些主导类别。除被广泛研究的具有独立且类别平衡样本的测试流外，我们进一步观察到在更复杂测试环境（如（时间）依赖或类别不平衡数据）中这些缺陷会加剧。我们观察到先前的方法在某些场景中表现良好，但因自身缺陷在其他场景中性能退化。本文中，我们提供一种称为 DELTA（无退化全测试时自适应，Degradation-freE fuLly Test-time Adaptation）的插件式解决方案，其包含两个组件：（i）测试时批重归一化（TBR），用于改进估计的归一化统计量；（ii）动态在线重加权（DOT），用于解决优化中的类别偏置。我们在三个常用数据集及四种场景和一个新引入的真实世界数据集上研究了多种测试时自适应方法。DELTA 可帮助它们同时应对所有场景，取得 SOTA 性能。
引用
@article{arxiv.2301.13018,
title = {DELTA: degradation-free fully test-time adaptation},
author = {Bowen Zhao and Chen Chen and Shu-Tao Xia},
journal= {arXiv preprint arXiv:2301.13018},
year = {2023}
}