针对图像分类中分布偏移的测试时自适应基准评测
机器学习
2023-07-07 v1 计算机视觉与模式识别
摘要
测试时自适应（Test-time adaptation, TTA）是一种仅利用预测阶段的未标记样本来提升模型泛化性能的技术。鉴于神经网络系统在面对分布偏移时需要具备鲁棒性，近年来提出了众多 TTA 方法。然而，对这些方法的评估常在不同设置下进行，例如不同的分布偏移、骨干网络和设计场景，导致缺乏一致且公平的基准来验证其有效性。为解决此问题，我们提出了一个基准，系统在 CIFAR-10-C、CIFAR-100-C、ImageNet-C、DomainNet 和 Office-Home 五个广泛使用的图像分类数据集上评估了 13 种主流 TTA 方法及其变体。这些方法涵盖了广泛的自适应场景（如在线自适应与离线自适应、实例自适应与批量自适应与域自适应）。此外，我们探究了不同 TTA 方法与多种网络骨干的兼容性。为实现该基准，我们在 PyTorch 中开发了统一框架，以便跨数据集和网络架构对 TTA 方法进行一致评估与比较。通过建立该基准，我们旨在为研究者和实践者提供可靠手段，以评估和比较 TTA 方法在提升模型鲁棒性与泛化性能方面的有效性。我们的代码见 https://github.com/yuyongcan/Benchmark-TTA。
引用
@article{arxiv.2307.03133,
title = {Benchmarking Test-Time Adaptation against Distribution Shifts in Image Classification},
author = {Yongcan Yu and Lijun Sheng and Ran He and Jian Liang},
journal= {arXiv preprint arXiv:2307.03133},
year = {2023}
}