语义文档距离度量与无监督文档修订检测
信息检索
2020-01-08 v2 计算与语言
摘要
在本文中，我们将文档修订检测问题建模为一个依赖于计算文档距离的最小代价分支问题。此外，我们提出了两种新的文档距离度量：基于词向量的动态时间规整 (wDTW) 和基于词向量的树编辑距离 (wTED)。我们的修订检测系统专为大规模语料库设计，并在 Apache Spark 上实现。我们证明，通过利用 Wikipedia 修订转储 https://snap.stanford.edu/data/wiki-meta.html 和模拟数据集，我们的系统比最先进的方法能更精确地检测修订。
引用
@article{arxiv.1709.01256,
title = {Semantic Document Distance Measures and Unsupervised Document Revision Detection},
author = {Xiaofeng Zhu and Diego Klabjan and Patrick Bless},
journal= {arXiv preprint arXiv:1709.01256},
year = {2020}
}