测试时适应的若干陷阱
机器学习
2023-06-07 v1 人工智能
摘要
测试时适应（Test-Time Adaptation, TTA）近期作为一种应对分布偏移下鲁棒性挑战的有前景的方法而出现。然而，先前文献中缺乏一致的设定与系统性研究，阻碍了对现有方法的充分评估。为解决该问题，我们提出 TTAB，一个涵盖十种最先进算法、多种分布偏移以及两种评估协议的测试时适应基准。通过大量实验，我们的基准揭示了先前工作中的三个常见陷阱。第一，由于在线批次依赖性，选择合适的超参数（尤其是模型选择）极其困难。第二，TTA 的有效性因被适应模型的质量与特性而有很大差异。第三，即便在最优算法条件下，现有方法均无法应对所有常见类型的分布偏移。我们的发现强调了该领域未来研究需在更广泛的模型与偏移上进行严格评估，并重新审视 TTA 经验性成功背后的假设。我们的代码可在 \url{https://github.com/lins-lab/ttab} 获取。
引用
@article{arxiv.2306.03536,
title = {On Pitfalls of Test-Time Adaptation},
author = {Hao Zhao and Yuejiang Liu and Alexandre Alahi and Tao Lin},
journal= {arXiv preprint arXiv:2306.03536},
year = {2023}
}
备注
Accepted at ICML 2023