扩散模型中信息的可分离性
机器学习
2026-02-02 v4 统计力学
人工智能
信息论
math.IT
摘要
扩散模型通过注入在训练阶段捕获到的信息将噪声转化为数据。本文我们提出问题：\textit{这些信息是什么}? 我们发现，在像空间扩散模型中，（1）神经网络中大部分信息用于重建图像的小尺度感知细节，（2）图像与其类别标签之间的相关性由图像的语义内容所决定，与低级细节基本无关。我们认为这些特性与数据本身的流形结构密切相关。最后，我们表明这些事实解释了无分类器引导的有效性：引导向量在生成过程的早期放大图像与条件信号之间的互信息，影响语义结构，但在感知细节被填补时会逐渐减弱。
引用
@article{arxiv.2509.23937,
title = {On the Separability of Information in Diffusion Models},
author = {Akhil Premkumar},
journal= {arXiv preprint arXiv:2509.23937},
year = {2026}
}
备注
27 pages + references, 19 figures. v4: Re-organized the paper to focus on separability of information