为何如此消极？负（与正）逐点互信息在分布语义中的作用
计算与语言
2019-08-20 v1
摘要
在分布语义中，对共现矩阵进行逐点互信息（）加权远比原始计数表现更好。然而，对于未观测到的配对共现， 会趋于负无穷，这带来一个问题。有限语料库中不可靠的统计会引出大量此类配对，从而使该问题加剧。一种常见做法是将负 （）在 处截断，也称为正 （）。本文中，我们研究处理 的替代方法，并且更重要的是，研究负信息在不同 矩阵的低秩加权分解性能中所起的作用。使用各类语义与句法任务作为探针来考察使用负或正 （或两者）的模型，我们发现绝大多数编码的语义与句法来自正 ，与之相对， 几乎只贡献句法信息。我们的发现深化了对分布语义的理解，同时也引入了新颖的 变体并为流行的 度量提供了依据。
引用
@article{arxiv.1908.06941,
title = {Why So Down? The Role of Negative (and Positive) Pointwise Mutual Information in Distributional Semantics},
author = {Alexandre Salle and Aline Villavicencio},
journal= {arXiv preprint arXiv:1908.06941},
year = {2019}
}