通过去噪估计数据分布的高阶梯度
机器学习
2021-11-09 v1 机器学习
摘要
数据密度的阶导数可通过去噪得分匹配高效估计，并已成为许多应用（如图像生成和音频合成）中的重要组成部分。高阶导数提供了关于数据分布的额外局部信息并支持新应用。尽管它们可以通过对学习到的密度模型进行自动微分来估计，但这会放大估计误差且在高维设置下代价高昂。为克服这些局限，我们提出了一种直接从样本估计数据密度的高阶导数（得分）的方法。我们首先表明去噪得分匹配可解释为Tweedie公式的一个特例。通过在更高阶矩上利用Tweedie公式，我们将去噪得分匹配推广到估计高阶导数。我们通过实验证明，用所提方法训练的模型比通过自动微分更高效且更准确地近似二阶导数。我们展示了我们的模型可用于量化去噪中的不确定性，并通过Ozaki离散化改进Langevin动力学的混合速度以采样合成数据和自然图像。
引用
@article{arxiv.2111.04726,
title = {Estimating High Order Gradients of the Data Distribution by Denoising},
author = {Chenlin Meng and Yang Song and Wenzhe Li and Stefano Ermon},
journal= {arXiv preprint arXiv:2111.04726},
year = {2021}
}
备注
NeurIPS 2021