高效且无遗忘的测试时模型自适应
机器学习
2022-06-01 v2
摘要
测试时自适应(TTA)旨在通过对任意测试样本调整给定模型,以应对训练与测试数据之间潜在的分布偏移。当测试环境频繁变化时,该任务对深度模型尤为重要。尽管近期已有一些应对该任务的尝试,我们仍面临两个实际挑战:1)现有方法须对每个测试样本执行反向计算,导致许多应用难以承受的预测开销;2)虽然现有 TTA 方案能显著提升分布外数据的测试性能,但它们常在 TTA 后于分布内数据上出现严重的性能退化(即灾难性遗忘)。本文指出并非所有测试样本对模型自适应的贡献均等,高熵样本可能导致破坏模型的噪声梯度。受此启发,我们提出一种主动样本选择准则以识别可靠且非冗余的样本,并在这些样本上更新模型以最小化熵损失实现测试时自适应。此外,为缓解遗忘问题,我们引入 Fisher 正则化器以约束重要模型参数发生剧烈变化,其中 Fisher 重要性由带生成伪标签的测试样本估计。在 CIFAR-10-C、ImageNet-C 和 ImageNet-R 上的大量实验验证了我们提出方法的有效性。
引用
@article{arxiv.2204.02610,
title = {Efficient Test-Time Model Adaptation without Forgetting},
author = {Shuaicheng Niu and Jiaxiang Wu and Yifan Zhang and Yaofo Chen and Shijian Zheng and Peilin Zhao and Mingkui Tan},
journal= {arXiv preprint arXiv:2204.02610},
year = {2022}
}
备注
17 pages, ICML 2022, conference