学习适应具有分布偏移的在线流数据
机器学习
2023-03-06 v1
摘要
测试时适应（TTA）是一种通过在推理期间利用无标签测试数据来减小训练集与测试集之间分布差距的技术。在本工作中，我们将 TTA 扩展到更实际的场景，其中测试数据以随时间经历分布偏移的在线流形式到来。现有方法面临两个挑战：依赖来自同一域的大量测试数据批次，以及缺乏对持续分布演化过程的显式建模。为应对这两个挑战，我们提出了一种元学习方法，在元训练期间教会网络适应分布偏移的在线流。因此，训练好的模型在测试中可执行对分布偏移的持续适应，不受批次大小限制，正如其在训练中所学到的那样。我们在 TTA 的基准数据集上进行了广泛实验，纳入了广泛的在线分布偏移设置。我们的结果显示相较最先进（SOTA）方法的一致提升，表明了我们方法的有效性。此外，我们在视频分割任务中取得了优越性能，凸显了我们方法在真实世界应用中的潜力。
引用
@article{arxiv.2303.01630,
title = {Learning to Adapt to Online Streams with Distribution Shifts},
author = {Chenyan Wu and Yimu Pan and Yandong Li and James Z. Wang},
journal= {arXiv preprint arXiv:2303.01630},
year = {2023}
}