扩散模型中潜在重用的极限

扩散模型通常在低维潜在空间中进行训练，这些空间随后被用于相关但分布发生偏移的数据集。本文研究在分布偏移下，何时才能可靠地重用潜在空间。我们考虑一种源-目标设置，其中两个数据集都近似为低维，但可能位于不同的子空间附近。我们证明，冻结并重用源潜在空间会导致目标域得分误差，这种误差由两个量子数决定：源子空间与目标子空间之间的主角偏斜，以及扩散时间尺度放大的目标环境噪声。受这些极限启发，我们进一步研究混合源-目标训练，描述了所需共享潜在维度如何取决于两个分布的相对几何结构。我们的结果为何时可靠地重用潜在空间以及何时需要学习共享表示提供了理论指导。