Concrete得分匹配：面向离散数据的广义得分匹配
机器学习
2023-01-19 v2 人工智能
摘要
用密度函数的梯度表示概率分布在建模广泛连续数据模态中被证明是有效的。然而，这一表示在梯度未定义的离散域中不适用。为此，我们提出一种称为“Concrete得分”的类似得分函数，它是离散设定下（Stein）得分的推广。给定预定义的邻域结构，任意输入的Concrete得分由概率相对于输入局部方向性变化的变化率定义。该表述允许我们在用欧氏距离度量此类变化时恢复连续域中的（Stein）得分，而使用曼哈顿距离则得到我们在离散域中的新得分函数。最后，我们引入一种从样本中学习此类得分的新框架，称为Concrete得分匹配（CSM），并提出了一种高效的训练目标以使我们的方法扩展到高维。在经验上，我们在合成、表格和高维图像数据集混合的密度估计任务上展示了CSM的有效性，并表明相对于现有的离散数据建模基线它表现更优。
引用
@article{arxiv.2211.00802,
title = {Concrete Score Matching: Generalized Score Matching for Discrete Data},
author = {Chenlin Meng and Kristy Choi and Jiaming Song and Stefano Ermon},
journal= {arXiv preprint arXiv:2211.00802},
year = {2023}
}
备注
NeurIPS 2022. First two authors contributed equally