探索经典与神经词法翻译模型在信息检索中的效用：可解释性、有效性与效率优势
计算与语言
2021-03-19 v2 信息检索
摘要
我们研究了词法翻译模型（IBM Model 1）对英文文本检索的效用，尤其是由端到端训练的神经变体。我们将神经 Model 1 用作应用于无上下文或上下文化查询/文档嵌入的聚合层。这种设计神经排序系统的新方法在有效性、效率与可解释性方面具有优势。具体而言，我们表明在基于 BERT 的上下文化嵌入之上添加可解释的神经 Model 1 层（1）不会降低准确率和/或效率；且（2）可克服现有 BERT 模型对最大序列长度的限制。无上下文神经 Model 1 比基于 BERT 的排序模型效果稍差，但它能在 CPU 上高效运行（无需昂贵的索引时预计算或查询时对大张量的操作）。使用 Model 1，我们在 2020 年末的 MS MARCO 文档排序排行榜上产出了最佳神经与非神经结果。
引用
@article{arxiv.2102.06815,
title = {Exploring Classic and Neural Lexical Translation Models for Information Retrieval: Interpretability, Effectiveness, and Efficiency Benefits},
author = {Leonid Boytsov and Zico Kolter},
journal= {arXiv preprint arXiv:2102.06815},
year = {2021}
}