伪球面对比散度
机器学习
2021-11-02 v1
摘要
基于能量的模型（EBM）提供了灵活的分布参数化。然而，由于配分函数难解，它们通常通过对比散度进行最大似然估计训练。本文提出伪球面对比散度（PS-CD）以推广 EBM 的最大似然学习。PS-CD 源自一族严格适当的齐次评分规则的最大化，避免了难解配分函数的计算，并给出包含对比散度作为特例的广义学习目标族。此外，PS-CD 使我们能灵活选取多种学习目标训练 EBM，无需额外计算代价或变分极小极大优化。对所用方法的理论分析及在合成数据与常用图像数据集上的大量实验，证明了 PS-CD 的有效性与建模灵活性，以及其对数据污染的鲁棒性，从而显示出相对于最大似然与 -EBM 的优越性。
引用
@article{arxiv.2111.00780,
title = {Pseudo-Spherical Contrastive Divergence},
author = {Lantao Yu and Jiaming Song and Yang Song and Stefano Ermon},
journal= {arXiv preprint arXiv:2111.00780},
year = {2021}
}
备注
NeurIPS 2021