Wasserstein-Fisher-Rao文档距离
机器学习
2019-07-12 v2 计算与语言
机器学习
摘要
作为自然语言处理的一个基本问题，度量不同文档之间的距离十分重要。在现有方法中，词移距离（Word Mover's Distance, WMD）因其作为无参数模型所具有的清晰物理直观性，在文档语义匹配中取得了显著成功。然而，WMD本质上基于经典Wasserstein度量，因此常常无法鲁棒地表示不同长度文本之间的语义相似性。本文中，我们应用不平衡最优传输理论中新近发展的Wasserstein-Fisher-Rao（WFR）度量来度量不同文档之间的距离。所提出的WFR文档距离保持了与WMD同等的良好可解释性与简洁性。我们证明WFR文档距离在比较不同长度文本时具有显著优势。此外，我们开发了基于加速Sinkhorn的GPU实现算法以快速计算WFR距离。在八个数据集上的KNN分类结果表明其相对于WMD有明显提升。
引用
@article{arxiv.1904.10294,
title = {Wasserstein-Fisher-Rao Document Distance},
author = {Zihao Wang and Datong Zhou and Yong Zhang and Hao Wu and Chenglong Bao},
journal= {arXiv preprint arXiv:1904.10294},
year = {2019}
}