基于扩散模型的测试时自适应的两个简单原则
机器学习
2025-03-13 v2 计算机视觉与模式识别
摘要
近期，基于扩散模型的测试时自适应展现了巨大进展，其利用扩散模型将未知测试域中的图像映射到训练域。未见且多样的测试域使得基于扩散的 TTA 成为一个不适定问题。在本文中，我们揭示了基于扩散方法设计技巧的两个简单原则。直观上，原则 1 指出保持语义相似性。我们应在原始测试图像与生成测试图像之间保持语义相似性。原则 2 建议最小修改。该原则使扩散模型能够以对测试图像的最小修改将其映射到训练域。具体而言，遵循这两个原则，我们提出了一种简单而有效的原则引导的基于扩散的测试时自适应方法。遵循原则 1，我们提出了语义保持器，即保持特征相似性的方法，该语义保持器可过滤来自测试域的损坏，从而更好地保持语义。遵循原则 2，我们提出了修改保持器，在生成过程中引入正则化约束以最小化对测试图像的修改。同时，这两个原则之间存在隐含冲突。我们进一步引入基于梯度的视角，以统一由这两个原则生成的方向。在 CIFAR-10C、CIFAR-100C、ImageNet-W 和 ImageNet-C 上使用 WideResNet-28-10、ResNet-50、Swin-T 和 ConvNext-T 进行的大量实验表明，PDDA 的性能显著优于复杂的最先进基线。具体而言，在无需任何训练过程的情况下，PDDA 在 ImageNet-C 上实现了 2.4% 的平均准确率提升。
引用
@article{arxiv.2312.05274,
title = {Two Simple Principles for Diffusion-Based Test-Time Adaptation},
author = {Kaiyu Song and Hanjiang Lai and Yan Pan and Kun Yue and Jian Yin},
journal= {arXiv preprint arXiv:2312.05274},
year = {2025}
}