段落重排序任务中的质量与成本权衡
信息检索
2021-11-22 v1 计算与语言
摘要
名为 Transformer 的深度学习模型在绝大多数 NLP 任务中取得了 SOTA 的结果，但代价是计算复杂度增加和内存消耗过高。在生产环境中部署时，使用 Transformer 模型进行实时推理成为一项重大挑战，因为它需要昂贵的计算资源。对 Transformer 的执行次数越多，整体吞吐量就越低，而切换到较小的编码器则会导致准确率下降。本文致力于解决如何为信息检索流水线的排序步骤选择合适的架构，从而在达到最高排序质量的同时，使 Transformer 编码器的调用次数降至最少。我们研究了几种后期交互模型，如 ColBERT 和 Poly-encoder 架构及其变体。此外，我们还关注了搜索索引的内存占用问题，并尝试应用 learning-to-hash 方法将 Transformer 编码器的输出向量二值化。评估结果基于 TREC 2019-2021 和 MS Marco dev 数据集。
引用
@article{arxiv.2111.09927,
title = {Quality and Cost Trade-offs in Passage Re-ranking Task},
author = {Pavel Podberezko and Vsevolod Mitskevich and Raman Makouski and Pavel Goncharov and Andrei Khobnia and Nikolay Bushkov and Marina Chernyshevich},
journal= {arXiv preprint arXiv:2111.09927},
year = {2021}
}
备注
The Thirtieth Text REtrieval Conference (TREC 2021) Proceedings