去噪得分匹配输入优化偏向更高得分范数
机器学习
2025-11-18 v1 计算机视觉与模式识别
摘要
近期许多研究利用去噪得分匹配来优化扩散模型的条件输入。本工作论文在此基础上，我们展示了此类优化破坏了去噪得分匹配与精确得分匹配之间的等价性。进一步，我们观察到这种偏差导致更高的得分范数。此外，我们发现使用预训练扩散模型优化数据分布时也存在类似偏差。最后，我们讨论了跨多个领域的广泛工作受此偏差影响，包括用于自回归生成的MAR、用于图像压缩的PerCo以及用于文本到3D生成的DreamFusion。
引用
@article{arxiv.2511.11727,
title = {Optimizing Input of Denoising Score Matching is Biased Towards Higher Score Norm},
author = {Tongda Xu},
journal= {arXiv preprint arXiv:2511.11727},
year = {2025}
}
备注
NIPS 25 Workshop: Frontiers in Probabilistic Inference: Sampling Meets Learning