面向动态真实世界中的稳定测试时自适应
机器学习
2023-02-27 v1 计算机视觉与模式识别
摘要
测试时自适应(TTA)通过在测试样本上调整给定模型，已证明能有效应对训练与测试数据间的分布偏移。然而，TTA 的在线模型更新可能不稳定，这常是阻碍现有 TTA 方法部署于真实世界的关键障碍。具体而言，当测试数据具有：1) 混合分布偏移，2) 小批量规模，以及 3) 在线不平衡标签分布偏移（这些在实践中十分常见）时，TTA 可能未能提升甚至损害模型性能。本文中，我们探究了不稳定原因，发现批归一化层是阻碍 TTA 稳定性的关键因素。反之，采用批无关归一化层（即组归一化或层归一化）的 TTA 可表现得更稳定。然而，我们观察到使用组与层归一化的 TTA 并非总成功，仍面临许多失败情形。通过深入失败案例，我们发现某些具有大梯度的含噪测试样本可能扰乱模型自适应并导致崩溃的平凡解，即对所有样本赋予相同类标签。为解决上述崩溃问题，我们提出一种锐度感知且可靠的熵最小化方法，称为 SAR，从两方面进一步稳定 TTA：1) 移除部分具有大梯度的含噪样本，2) 鼓励模型权重走向平坦最小值，从而使模型对剩余含噪样本鲁棒。令人鼓舞的结果表明，在上述野生测试场景下，SAR 相较先前方法表现更稳定且计算高效。
引用
@article{arxiv.2302.12400,
title = {Towards Stable Test-Time Adaptation in Dynamic Wild World},
author = {Shuaicheng Niu and Jiaxiang Wu and Yifan Zhang and Zhiquan Wen and Yaofo Chen and Peilin Zhao and Mingkui Tan},
journal= {arXiv preprint arXiv:2302.12400},
year = {2023}
}
备注
accepted by International Conference on Learning Representations (ICLR) 2023 as Notable-Top-5%; 27 pages, 10 figures, 18 tables