重新思考扩散桥采样器的损失函数

扩散桥是一类用于从未归一化分布中采样的极具前景的深度学习方法。近期工作表明，当使用重参数化技巧计算 rKL 梯度时，对数方差（LV）损失始终优于反向 Kullback-Leibler（rKL）损失。虽然对于具有不可学习前向过程的扩散采样器，结合对数导数技巧的同策略 LV 损失产生与 rKL 损失相同的梯度，但这种等价性对于扩散桥或当扩散系数被学习时并不成立。基于这一洞察，我们论证对于扩散桥，LV 损失并不能代表一个可以像 rKL 损失那样通过数据处理不等式来获得动机的优化目标。我们的分析表明，采用结合对数导数技巧的 rKL 损失不仅避免了这些概念问题，而且始终优于 LV 损失。在不同类型扩散桥的挑战性基准上的实验结果表明，使用 rKL-LD 损失训练的采样器取得了更好的性能。从实际应用角度来看，我们发现 rKL-LD 所需的超参数优化显著减少，且训练行为更加稳定。