上下文移动距离与重心：用于构建表示式的上下文最优传输
计算与语言
2020-03-03 v6 机器学习
机器学习
摘要
我们提出了一个构建实体及其组合的无监督表示的框架，其中每个实体被视为一个概率分布而非向量嵌入。具体而言，该分布支持在与实体共现并嵌入到合适低维空间中的上下文上。这使我们能够从最优传输的角度考虑表示学习，并利用其工具如Wasserstein距离和重心。我们详述了该方法如何应用于获取文本的无监督表示，并在句子相似度、词蕴含与相似度等任务上展示了性能（定量与定性），我们经验性地观察到显著增益（例如，相对于Sent2vec、GenSen有4.1%的相对提升）。所提方法的主要优点包括：(a) 通过将实体建模为分布来捕获不确定性和多义性，(b) 利用特定任务的底层几何结构（以地面代价表示），(c) 通过上下文间最优传输的概念同时提供可解释性，以及 (d) 易于在现有点嵌入方法之上应用。代码以及预构建的直方图可在 https://github.com/context-mover/ 获取。
引用
@article{arxiv.1808.09663,
title = {Context Mover's Distance & Barycenters: Optimal Transport of Contexts for Building Representations},
author = {Sidak Pal Singh and Andreas Hug and Aymeric Dieuleveut and Martin Jaggi},
journal= {arXiv preprint arXiv:1808.09663},
year = {2020}
}
备注
AISTATS 2020. Also, accepted previously at ICLR 2019 DeepGenStruct Workshop