条件扩散模型中组合泛化的局部机制

条件扩散模型似乎具备组合泛化能力，即能够为分布外条件器组合生成令人信服的样本，但这一能力背后的机制仍不清楚。为使问题具体化，我们研究长度泛化，即生成比训练时所见更多物体的图像的能力。在受控的CLEVR设置（Johnson et al., 2017）中，我们发现长度泛化在某些情况下可实现，而在其他情况下则不可行，这表明模型仅在某些时候学习到了底层的组合结构。随后我们研究局部性作为组合泛化的结构机制。先前工作提出了分数局部性作为无条件扩散模型中创造力的机制（Kamb & Ganguli, 2024; Niedoba et al., 2024），但未涉及灵活条件化或组合泛化。在本文中，我们证明了一种特定组合结构（“条件投影组合”）（Bradley et al., 2025）与对像素和条件器均具有稀疏依赖的分数（“局部条件分数”）之间的精确等价性。该理论也扩展至特征空间组合性。我们通过实验验证了该理论：在长度泛化上成功的CLEVR模型表现出局部条件分数，而失败者则不然。此外，我们表明，显式强制执行局部条件分数的因果干预能恢复先前失败模型的长度泛化能力。最后，我们研究了SDXL，发现在像素空间中存在空间局部性，但条件局部性基本缺失；然而，我们在网络学习到的特征空间中发现了局部条件分数的定量证据。