EVODiff：熵感知方差优化的扩散推理
计算机视觉与模式识别
2026-02-04 v3 信息论
机器学习
math.IT
最优化与控制
机器学习
摘要
扩散模型（DMs）在图像生成方面表现出色，但存在推理速度慢和训练-推理不一致的问题。尽管基于梯度的扩散模型求解器加速了去噪推理，但它们通常缺乏信息传输效率方面的理论基础。在这项工作中，我们从信息论的角度审视扩散模型的推理过程，揭示了成功的去噪从根本上降低了逆向转换中的条件熵。这一原理引出了我们对推理过程的关键见解：（1）数据预测参数化优于其噪声对应方法，以及（2）优化条件方差提供了一种无需参考的方式来最小化转换误差和重建误差。基于这些见解，我们为扩散模型的生成过程提出了一种熵感知方差优化方法，称为 EVODiff，该方法通过在去噪过程中优化条件熵来系统地降低不确定性。在扩散模型上的大量实验验证了我们的见解，并证明我们的方法显著且一致地优于最先进的（SOTA）基于梯度的求解器。例如，与 DPM-Solver++ 相比，EVODiff 在 CIFAR-10 上以 10 次函数评估（NFE）将重建误差降低了高达 45.5%（FID 从 5.10 提升至 2.78），在 ImageNet-256 上将生成高质量样本所需的 NFE 成本降低了 25%（从 20 NFE 降至 15 NFE），并在减少伪影的同时改进了文本到图像的生成。代码可在 https://github.com/ShiguiLi/EVODiff 获取。
引用
@article{arxiv.2509.26096,
title = {EVODiff: Entropy-aware Variance Optimized Diffusion Inference},
author = {Shigui Li and Wei Chen and Delu Zeng},
journal= {arXiv preprint arXiv:2509.26096},
year = {2026}
}
备注
NeurIPS 2025, 41 pages, 14 figures