字符三元文法移动者距离：一种检测近似重复日语食谱的有效方法
信息检索
2019-12-24 v2
摘要
在用户生成的食谱网站中，用户发布他们原创的食谱。然而，某些食谱在烹饪说明等主要组成部分上与其他食谱非常相似。我们将此类食谱称为“近似重复食谱”。在本研究中，我们提出一种方法，将基于词嵌入计算文本间距离的“词移动者距离(Word Mover's Distance)”扩展至字符三元文法嵌入。使用超过121万份食谱的语料库，我们通过带负采样的Skip-Gram模型和fastText学习词嵌入与字符三元文法嵌入，以提取近似重复食谱的候选对。随后我们对这些候选进行标注，并将所提方法与一个对比方法进行评估。我们的结果表明，对比方法未检测到的近似重复食谱被所提方法成功检测出来。
引用
@article{arxiv.1912.05171,
title = {Character 3-gram Mover's Distance: An Effective Method for Detecting Near-duplicate Japanese-language Recipes},
author = {Masaki Oguni and Yohei Seki and Yu Hirate},
journal= {arXiv preprint arXiv:1912.05171},
year = {2019}
}
备注
5 pages, 2 figures