Doc2Token：通过预测缺失标记桥接词汇差距用于电商搜索
信息检索
2024-07-01 v1
摘要
在信息检索中解决“词汇不匹配”问题是电商搜索引擎的核心挑战，因为产品页面常缺失客户搜索的重要关键词。Doc2Query[1] 是一种流行的文档扩展技术，通过预测文档的搜索查询并将预测的查询与文档一起用于检索。然而，这种方法在电商搜索中可能效率不高，因为预测的查询标记常已存在于文档中。本文提出了 Doc2Token 技术，通过预测文档中缺失的相关标记并将这些标记包含在文档中用于检索。为完成缺失标记预测任务，本文引入了新的指标“novel ROUGE score”。实验表明，Doc2Token 在 novel ROUGE score 和预测多样性方面优于 Doc2Query。Doc2Token 还通过减少训练和推理时间实现效率提升。我们将该功能部署到生产环境，并在线 A/B 测试中观察到显著的收入增长，随后将功能推送至 Walmart.com 全流量。[1] R. Nogueira, W. Yang, J. Lin, K. Cho, Document expansion by query prediction, arXiv preprint arXiv:1904.08375 (2019)
关键词
引用
@article{arxiv.2406.19647,
title = {Doc2Token: Bridging Vocabulary Gap by Predicting Missing Tokens for E-commerce Search},
author = {Kaihao Li and Juexin Lin and Tony Lee},
journal= {arXiv preprint arXiv:2406.19647},
year = {2024}
}
备注
9 pages, 1 figure, SIGIR 2024 Workshop on eCommerce