FOCUS：用于缓解测试时适应中灾难性遗忘的扩散模型频率优化条件化方法
计算机视觉与模式识别
2025-08-21 v1
摘要
测试时适应使模型能够适应不断变化的领域。然而，对于模型适应方法而言，在保留知识与适应领域偏移之间取得平衡仍然具有挑战性，因为适应领域偏移可能导致遗忘任务相关知识。为解决此问题，我们提出了 FOCUS，这是一种在扩散驱动的输入适应框架内基于频率的新型条件化方法。利用学习到的、空间自适应的频率先验，我们的方法在扩散驱动的去噪过程中对逆向步骤进行条件化，以保留用于密集预测的任务相关语义信息。FOCUS 利用一个经过训练的、轻量级的 Y 形频率预测网络（Y-FPN），该网络从噪声图像中解耦高频和低频信息。这最大限度地降低了在我们的扩散驱动框架中实施该方法所涉及的计算成本。我们使用 FrequencyMix 训练 Y-FPN，这是一种新颖的数据增强方法，可在不同频段上扰动图像，从而提高我们的方法对各种损坏的鲁棒性。我们展示了 FOCUS 在 15 种损坏类型和三个数据集上用于语义分割和单目深度估计的有效性，取得了最先进的平均性能。除了提高独立性能外，FOCUS 还能补充现有的模型适应方法，因为我们可以从 FOCUS 去噪图像中导出伪标签以提供额外监督。即使在使用从 FOCUS 去噪图像导出的伪标签进行有限的、间歇性监督的情况下，我们也表明 FOCUS 能缓解近期模型适应方法中的灾难性遗忘。
引用
@article{arxiv.2508.14437,
title = {FOCUS: Frequency-Optimized Conditioning of DiffUSion Models for mitigating catastrophic forgetting during Test-Time Adaptation},
author = {Gabriel Tjio and Jie Zhang and Xulei Yang and Yun Xing and Nhat Chung and Xiaofeng Cao and Ivor W. Tsang and Chee Keong Kwoh and Qing Guo},
journal= {arXiv preprint arXiv:2508.14437},
year = {2025}
}