一种面向赞助搜索引擎的端到端生成式检索方法——高效解码至封闭目标域
信息检索
2019-03-19 v2
摘要
在本文中，我们提出一种面向赞助搜索引擎的生成式检索方法，其使用神经机器翻译（NMT）直接从查询生成关键词。该方法完全端到端，跳过了传统检索系统中的查询改写和相关性判断阶段。与标准机器翻译不同，检索设置中的目标空间是一个受限的封闭集合，其中只应生成已收录的关键词。我们提出一种基于 Trie 的束搜索剪枝技术来解决此问题。将该方法部署到真实工业环境中的最大挑战是运行解码器带来的延迟影响。自归一化训练结合基于 Trie 的动态剪枝大幅减少了推理时间，实现了超过20倍的加速。我们还设计了一种在线—离线混合服务架构以降低延迟和CPU消耗。为鼓励NMT生成现有系统未覆盖的新关键词，我们对训练数据进行了精心筛选。该模型已作为补充检索分支成功应用于百度的商业搜索引擎，带来了超过10%的显著收入提升。
引用
@article{arxiv.1902.00592,
title = {An end-to-end Generative Retrieval Method for Sponsored Search Engine --Decoding Efficiently into a Closed Target Domain},
author = {Yijiang Lian and Zhijie Chen and Jinlong Hu and Kefeng Zhang and Chunwei Yan and Muchenxuan Tong and Wenying Han and Hanju Guan and Ying Li and Ying Cao and Yang Yu and Zhigang Li and Xiaochun Liu and Yue Wang},
journal= {arXiv preprint arXiv:1902.00592},
year = {2019}
}
备注
8 pages, 8 figures, conference