基于 Wasserstein 距离损失的高斯词嵌入
计算与语言
2018-09-05 v7
摘要
与基于点表示的词嵌入相比，基于分布的词嵌入在表达不确定性方面表现出更大的灵活性，从而在表示词语时嵌入更丰富的语义信息。Wasserstein 距离提供了概率测度间一种自然的相异度概念，并且在度量两个高斯分布之间的距离时具有闭式解。因此，为了以高效的方式表示词语，我们提出使用基于 Wasserstein 距离的损失函数来运行高斯词嵌入模型。此外，将利用来自 ConceptNet 的外部信息对高斯词嵌入结果进行半监督。本文将评估来自词相似任务的十三个数据集，以及一个来自词蕴含任务的数据集，和来自下游文档分类任务的六个数据集，以检验我们的假设。
引用
@article{arxiv.1808.07016,
title = {Gaussian Word Embedding with a Wasserstein Distance Loss},
author = {Chi Sun and Hang Yan and Xipeng Qiu and Xuanjing Huang},
journal= {arXiv preprint arXiv:1808.07016},
year = {2018}
}