基于 Taylor 近似的控制变量实现扩散模型梯度方差缩减

基于去噪评分匹配训练的评分模型在生成高维数据方面效果极佳。然而，其训练目标的高方差阻碍了优化。在本文中，我们通过对训练目标及其梯度进行 $k$ 阶 Taylor 展开所导出的控制变量来尝试降低方差。我们证明了两种方法等价，并在低维问题设置下经验性地验证了我们方法的有效性；同时我们也研究了其在更大规模问题上的效果。