约束翻译候选：神经查询翻译与跨语言信息检索之间的桥梁
计算与语言
2020-10-27 v1 信息检索
摘要
查询翻译(QT)是跨语言信息检索系统(CLIR)中的关键组件。在深度学习的帮助下，神经机器翻译(NMT)在各种任务上展现出有前景的结果。然而，NMT 通常使用大规模域外数据而非域内查询翻译对进行训练。此外，翻译模型在推理时缺乏一种机制来保证生成的词与搜索索引匹配。QT 的这两个缺陷导致了对人类可读但对下游检索任务而言不充分的候选。在本文中，我们提出一种新颖方法，通过将 QT 的开放目标词汇搜索空间限制为从搜索索引数据库中挖掘出的一组重要词来缓解这些问题。约束翻译候选在训练和推理时均被采用，从而引导翻译模型学习并生成表现良好的目标查询。所提出的方法在真实世界的 CLIR 系统——速卖通电子商务搜索引擎中得以应用与检验。实验结果表明，我们的方法在翻译质量和检索准确率上均优于强大的 NMT 基线。
引用
@article{arxiv.2010.13658,
title = {Constraint Translation Candidates: A Bridge between Neural Query Translation and Cross-lingual Information Retrieval},
author = {Tianchi Bi and Liang Yao and Baosong Yang and Haibo Zhang and Weihua Luo and Boxing Chen},
journal= {arXiv preprint arXiv:2010.13658},
year = {2020}
}
备注
SIGIR eCom 2020