重新评估词移距离
机器学习
2022-06-16 v3 计算与语言
信息检索
摘要
词移距离（WMD）是衡量两篇文档相似度的基本技术。作为 WMD 的核心，它可通过采用最优传输公式来利用词空间的底层几何结构。关于 WMD 的原创研究报道称，在多个数据集中 WMD 以显著优势优于词袋（BOW）和 TF-IDF 等经典基线。本文指出，原创研究中的评估可能存在误导性。我们重新评估了 WMD 与经典基线的性能，发现若采用适当的预处理即 L1 归一化，经典基线与 WMD 具有竞争力。此外，我们引入了 WMD 与 L1 归一化 BOW 之间的类比，并发现不仅 WMD 的性能，而且其距离值在高维空间中也与 BOW 相似。
引用
@article{arxiv.2105.14403,
title = {Re-evaluating Word Mover's Distance},
author = {Ryoma Sato and Makoto Yamada and Hisashi Kashima},
journal= {arXiv preprint arXiv:2105.14403},
year = {2022}
}
备注
ICML 2022