RDumb:质疑我们在持续测试时自适应方面进展的简单方法
机器学习
2024-04-04 v3 计算机视觉与模式识别
摘要
测试时自适应(TTA)允许在部署时更新预训练模型以适应变化的数据分布。早期工作针对个体固定分布偏移测试这些算法,近期工作提出并应用了用于长时间尺度持续自适应的方法。为审视该领域所报告的进展,我们提出持续变化 corruption (CCC)基准以衡量TTA技术的渐近性能。我们发现,最终除一种最先进方法外其余全部崩溃,且表现不如非自适应模型,包括专门提出以鲁棒于性能崩溃的模型。此外,我们引入一个简单基线“RDumb”,周期性将模型重置为其预训练状态。RDumb在所有考虑的基准中优于或与先前提出的最先进方法持平。我们的结果表明,先前的TTA方法既不能在正则化自适应以避免崩溃上生效,也无法胜过一个简单的重置策略。
引用
@article{arxiv.2306.05401,
title = {RDumb: A simple approach that questions our progress in continual test-time adaptation},
author = {Ori Press and Steffen Schneider and Matthias Kümmerer and Matthias Bethge},
journal= {arXiv preprint arXiv:2306.05401},
year = {2024}
}