得分匹配的可证明收益

得分匹配是最大似然（ML）的一种替代方法，用于估计比例至一个常数未知的概率分布。通过拟合分布的“得分”，它规避了计算该比例常数（通常难以处理）的需要。尽管得分匹配及其变体在实践中广受欢迎，但关于其与最大似然在计算与统计上的收益与权衡的精确理论理解尚不充分。在这项工作中，我们给出了首个自然指数分布族的例子，其中得分匹配损失计算高效可优化，且具有与 ML 相当的统计效率，而 ML 损失使用基于梯度的方法难以优化。该分布族由固定次数多项式的指数组成，我们的结果可视为离散设定中近期发展的连续类比。具体而言，我们表明：（1）设计用于优化最大似然损失的零阶或一阶预言机是 NP 难的。（2）最大似然具有关于环境维数与分布族参数半径的多项式统计效率。（3）最小化得分匹配损失在计算与统计上均高效，复杂度关于环境维数为多项式。