谁写了这本书？一项电子商务挑战
计算与语言
2019-05-07 v1 信息检索
机器学习
机器学习
摘要
现代电子商务目录包含数百万条参考文献，关联着对通过搜索或浏览发现产品至关重要的文本和视觉信息。尤其重要的是图书类别，其中作者姓名字段带来了重大挑战。事实上，给定作者（如 F. Scott Fitzgerald）所写的书，由于缩写、拼写变体和错误等原因，可能在目录中以不同的作者姓名列出。为大规模解决此问题，我们设计了一个复合系统，涉及图书的开放数据源以及利用基于深度学习的自然语言处理技术的机器学习组件。特别地，我们使用孪生神经网络与已知作者姓名进行近似匹配，并使用序列到序列学习通过神经网络直接校正所提供的作者姓名。我们在来自电子商务网站 Rakuten France 的产品数据上评估了该方法，发现系统的首要建议为规范化作者姓名的准确率达 72%。
引用
@article{arxiv.1905.01973,
title = {Who wrote this book? A challenge for e-commerce},
author = {Béranger Dumont and Simona Maggio and Ghiles Sidi Said and Quoc-Tien Au},
journal= {arXiv preprint arXiv:1905.01973},
year = {2019}
}
备注
8 pages, 1 figure