噪声调度：扩散训练中的信息导向分配
机器学习
2026-05-28 v2 人工智能
计算机视觉与模式识别
信息论
math.IT
摘要
我们提出 InfoNoise，这是一种用于扩散训练的在线自适应噪声调度，通过重新分配优化资源以聚焦于去噪最具信息量的噪声水平。配合损失加权，噪声调度会导致对去噪问题的有效分配，通常在知晓信息丰富的噪声水平之前即已固定。InfoNoise 通过在训练期间从去噪损失中估计条件熵率轮廓，实现了这种分配的数据自适应化，无需辅助模型或离线搜索。通过 I--MMSE，该轮廓识别出噪声观测快速减少关于干净样本不确定性的区域，并引导调整训练噪声分布。它仅改变该分布，保持目标、加权和参数化方式不变。在图像基准测试上，由于该调度曾被广泛调优，InfoNoise 与强大基准相当或略胜一筑，并且可以用更少的更新次数达到相同质量。在表示、序列和模态转移方面，包括 DNA 和语言生成，InfoNoise 对固定和自适应基准均有所改进，并可通过最高可达 的训练计算量实现目标质量。这些结果确立了条件熵率轮廓作为噪声调度设计的数据依赖目标，并将在线自适应方法证明为手动调度搜索的实用替代方案。
引用
@article{arxiv.2602.18647,
title = {Noise Scheduling as Information-Guided Allocation in Diffusion Training},
author = {Gabriel Raya and Bac Nguyen and Georgios Batzolis and Yuhta Takida and Dejan Stancevic and Naoki Murata and Chieh-Hsin Lai and Yuki Mitsufuji and Luca Ambrogioni},
journal= {arXiv preprint arXiv:2602.18647},
year = {2026}
}