NOTE：面向时间相关性的鲁棒持续测试时自适应方法
机器学习
2023-01-12 v3
摘要
测试时自适应（TTA）是一种新兴范式，可在无需额外数据采集或标注成本的情况下解决训练与测试阶段之间的分布偏移；仅利用无标签测试数据流进行持续的模型自适应。以往的 TTA 方案假设测试样本独立同分布（i.i.d.），尽管在实际应用中（例如自动驾驶）它们常常是时间相关的（非 i.i.d.）。我们发现大多数现有 TTA 方法在此类场景下会严重失效。受此启发，我们提出了一种对非 i.i.d. 测试数据流具有鲁棒性的新测试时自适应方案。我们的创新主要体现在两方面：(a) 实例感知批归一化（IABN），用于纠正分布外样本的归一化；(b) 预测均衡蓄水池采样（PBRS），以类均衡方式从非 i.i.d. 流中模拟 i.i.d. 数据流。我们在多个数据集（包括真实世界非 i.i.d. 流）上的评估表明，所提出的鲁棒 TTA 不仅在非 i.i.d. 设定下优于最先进的 TTA 算法，而且在 i.i.d. 假设下也取得了与这些算法相当的性能。代码见 https://github.com/TaesikGong/NOTE。
引用
@article{arxiv.2208.05117,
title = {NOTE: Robust Continual Test-time Adaptation Against Temporal Correlation},
author = {Taesik Gong and Jongheon Jeong and Taewon Kim and Yewon Kim and Jinwoo Shin and Sung-Ju Lee},
journal= {arXiv preprint arXiv:2208.05117},
year = {2023}
}
备注
NeurIPS 2022 camera-ready version