两宁静端与野蛮中间：扩散模型中记忆的几何图景
机器学习
2026-02-23 v1
摘要
扩散模型虽然能生成高质量样本，但也会记忆训练数据，引发严重的隐私问题。理解支配记忆与泛化发生机制的机制仍是活跃的研究领域。特别是，尚不清楚记忆诱导沿噪声计划的哪个位置，数据几何如何影响它，以及不同噪声尺度下的现象如何相互作用。我们引入一个几何框架，将噪声计划划分为三个 regime，基于高斯壳对训练数据覆盖属性和后验浓度行为，这两个我们认为支配扩散模型中记忆与泛化的基本对象。这种视角揭示了记忆风险在噪声水平上高度非均匀。我们进一步识别了在中等噪声水平处的危险区域，记忆在此最为突出。相比之下，小噪声和大噪声 regime 都抗拒记忆，但通过根本不同的机制：小噪声由于训练覆盖有限而避免记忆，而大噪声表现为后验浓度低，具有可证明的接近线性高斯去噪行为。对于中等噪声 regime，我们通过几何条件识别，通过几何感知的定向干预来缓解记忆。
引用
@article{arxiv.2602.17846,
title = {Two Calm Ends and the Wild Middle: A Geometric Picture of Memorization in Diffusion Models},
author = {Nick Dodson and Xinyu Gao and Qingsong Wang and Yusu Wang and Zhengchao Wan},
journal= {arXiv preprint arXiv:2602.17846},
year = {2026}
}