扩散对齐的可处理性图景：正则化、奖励与计算原语

推理时奖励对齐探讨如何将具有基础分布 $p$ 的预训练扩散模型转变为偏好奖励 $r$ 同时保持接近 $p$ 的采样器。由于这种接近性约束没有标准的分布距离，不同的选择会导致不同的“奖励对齐”分布，并且同样重要的是，导致不同的算法问题。我们提出了一种基于原语的奖励对齐方法：我们不是假设可以采样任意的奖励对齐分布，而是探究哪些简单的算法原语足以实现对非平凡奖励类别的对齐。如果接近性用 KL 距离衡量，目标分布为 $q(x) \propto p(x) \exp(\lambda^{-1}r(x))$。对于此设置，我们证明形式为 $q(x)\propto p(x)\exp(\langle \theta, x \rangle)$ 的线性指数倾斜——根据最近的工作 [MRR26]，可以从中高效采样——是对齐到非常广泛的凸低维奖励类别的充分原语。如果接近性用 Wasserstein 距离衡量，相应的原语是一个近端传输预言机：给定 $x$，求解 $\mbox{argmax}_y \{r(y)- \lambda c(x,y)\}$。该预言机可以针对凹或低维 Lipschitz 奖励 $r(x)=f(Ax)$ 高效实现。总之，这些结果说明了用于对齐的分布距离的选择会影响计算原语和可处理的奖励类别。