探索扩散分数底层的结构化语义先验用于测试时自适应
计算机视觉与模式识别
2025-01-03 v1 机器学习
摘要
利用生成模型和判别模型的互补优势一直是机器学习中的一个引人注目的愿景，并得到了越来越多研究的支持。本工作揭示了基于分数的生成模型中隐藏的语义结构，展示了其作为有效判别先验的潜力。受理论发现的启发，我们提出DUSA，以利用扩散分数底层的结构化语义先验，促进图像分类器或密集预测器的测试时自适应。值得注意的是，DUSA从去噪扩散的单个时间步中提取知识，消除了基于蒙特卡洛的似然估计在时间步上的诅咒。我们展示了DUSA在多种测试时场景中自适应各种具有竞争力的预训练判别模型的有效性。此外，进行了彻底的消融研究以剖析DUSA中的关键要素。代码公开于 https://github.com/BIT-DA/DUSA。
引用
@article{arxiv.2501.00873,
title = {Exploring Structured Semantic Priors Underlying Diffusion Score for Test-time Adaptation},
author = {Mingjia Li and Shuang Li and Tongrui Su and Longhui Yuan and Jian Liang and Wei Li},
journal= {arXiv preprint arXiv:2501.00873},
year = {2025}
}
备注
Accepted by NeurIPS 2024. Project page: https://kiwixr.github.io/projects/dusa