深入理解预测模型与计数模型
机器学习
2015-11-09 v1 计算与语言
摘要
在最近的一篇论文中，Levy 和 Goldberg 指出了基于预测的词嵌入模型与基于逐点互信息的计数模型之间的有趣联系。他们证明了在特定条件下，这两种模型最终优化的目标函数是等价的。本文更详细地探讨了这一联系，并列出了导致这些模型之间差异的因素。我们发现，从优化角度来看最相关的差异是：预测模型在嵌入向量可以密集交互的低维空间中工作；由于预测模型参数较少，它们不易过拟合。受我们分析见解的启发，我们展示了如何以有原则的方式对计数模型进行正则化，并提供了 L1 和 L2 正则化的闭式解。最后，我们提出了一种新的嵌入模型，其目标函数为凸函数，并具有可解释的额外优势。
引用
@article{arxiv.1511.02024,
title = {Towards a Better Understanding of Predict and Count Models},
author = {S. Sathiya Keerthi and Tobias Schnabel and Rajiv Khanna},
journal= {arXiv preprint arXiv:1511.02024},
year = {2015}
}
备注
17 pages