利用预计算源统计的协方差感知特征对齐用于多图像 corruption 的测试时自适应
机器学习
2025-12-03 v2
摘要
现实世界的图像识别系统常面临受损输入图像，这会导致分布偏移并降低模型性能。这些系统常在中心服务器使用单一预测模型，并处理来自各种环境的图像，例如分布在城市或汽车中的摄像头。此类单一模型在测试时会遇到以异构方式受损的图像。因此，它们需要在测试时即时适应多种 corruption，而非以高昂代价重新训练。测试时自适应（TTA）旨在不访问训练数据集的情况下适应模型，是可解决此问题的设置之一。现有 TTA 方法在单一 corruption 上确实表现良好。然而，在更现实的多类型 corruption 出现时，自适应能力有限。我们假设这是因为分布偏移更复杂，且多 corruption 情况下自适应更困难。事实上，我们通过实验发现 TTA 后仍存在更大的分布鸿沟。为解决测试时的分布鸿沟，我们提出一种名为协方差感知特征对齐（CAFe）的新颖 TTA 方法。我们凭经验表明 CAFe 在图像 corruption（包括多类型 corruption）上优于先前的 TTA 方法。
引用
@article{arxiv.2204.13263,
title = {Covariance-aware Feature Alignment with Pre-computed Source Statistics for Test-time Adaptation to Multiple Image Corruptions},
author = {Kazuki Adachi and Shin'ya Yamaguchi and Atsutoshi Kumagai},
journal= {arXiv preprint arXiv:2204.13263},
year = {2025}
}
备注
Extended version of the paper accepted to ICIP 2023