利用近似 Kullback-Leibler 散度学习多义词语义分布
计算与语言
2019-11-15 v1 机器学习
机器学习
摘要
由于文本应用的多样性，近年来学习词表示获得了更多关注。词嵌入封装了句子的句法与语义规律。将词嵌入建模为多义高斯混合分布，可额外捕捉词语的不确定性与多义性。我们提出使用基于 Kullback-Leibler (KL) 散度的目标函数来学习词的高斯混合表示。基于 KL 散度的能量函数提供了更好的距离度量，能有效捕捉词语间的蕴含关系与分布相似性。由于高斯混合的 KL 散度难以处理，我们采用高斯混合间的 KL 近似。我们在基准词相似性与蕴含数据集上进行了定性与定量实验，证明了所提方法的有效性。
引用
@article{arxiv.1911.06118,
title = {Learning Multi-Sense Word Distributions using Approximate Kullback-Leibler Divergence},
author = {P. Jayashree and Ballijepalli Shreya and P. K. Srijith},
journal= {arXiv preprint arXiv:1911.06118},
year = {2019}
}
备注
7 pages, 4 tables