高斯分布作为 NCE 噪声分布的缺陷
机器学习
2023-03-03 v2 机器学习
摘要
噪声对比估计（Noise Contrastive Estimation, NCE）是一种流行的学习方法，用于参数化至一个比例常数的概率密度函数。其主要思想是设计一个分类问题，以区分训练数据与来自易于采样的噪声分布 的样本，从而避免计算配分函数。众所周知， 的选择会严重影响 NCE 的计算与统计效率。在实践中， 的一个常见选择是匹配数据均值与协方差的高斯分布。在本文中，我们证明即便对于非常简单的数据分布，这种选择也会导致损失函数 Hessian 矩阵的条件数在环境维度上呈指数级恶化。因此，这种 的选择在统计与算法复杂度上都会在实践中带来问题，表明更复杂的噪声分布对 NCE 的成功至关重要。
引用
@article{arxiv.2210.00189,
title = {Pitfalls of Gaussians as a noise distribution in NCE},
author = {Holden Lee and Chirag Pabbaraju and Anish Sevekari and Andrej Risteski},
journal= {arXiv preprint arXiv:2210.00189},
year = {2023}
}
备注
14 pages, 1 figure