TTN：测试时自适应中一种感知域偏移的批归一化方法
计算机视觉与模式识别
2023-02-21 v2
摘要
本文提出一种用于测试时自适应的新型批归一化策略。近期测试时自适应方法严重依赖改进的批归一化，即转导批归一化（TBN），其从当前测试批次计算均值与方差，而非使用源数据获得的滑动均值与方差，即常规批归一化（CBN）。采用利用测试批次统计量的 TBN 可缓解由域偏移引起的性能退化。然而，使用测试数据重新估计归一化统计量依赖于不实际的假设：测试批次应足够大且来自独立同分布流，我们观察到先前带 TBN 的方法在这些假设不成立时会出现严重性能下降。本文中，我们确认 CBN 与 TBN 存在权衡关系，并提出一种新的测试时归一化（TTN）方法，其根据各 BN 层的域偏移敏感度调整 CBN 与 TBN 间的重要性来插值统计量。我们提出的 TTN 在广泛批次大小及各种现实评估场景下提升了对偏移域的模型鲁棒性。TTN 广泛适用于其他通过反向传播更新模型参数的测试时自适应方法。我们证明采用 TTN 进一步提升了它们的性能，并在多种标准基准上取得最先进性能。
引用
@article{arxiv.2302.05155,
title = {TTN: A Domain-Shift Aware Batch Normalization in Test-Time Adaptation},
author = {Hyesu Lim and Byeonggeun Kim and Jaegul Choo and Sungha Choi},
journal= {arXiv preprint arXiv:2302.05155},
year = {2023}
}
备注
ICLR2023 Accepted