面向开放域问答的基于哈希的高效段落检索
计算与语言
2021-06-03 v1 信息检索
摘要
大多数最先进的开放域问答系统使用神经检索模型将段落编码为连续向量并从知识源中提取。然而，由于段落索引规模庞大，此类检索模型运行常需大量内存。本文引入二值段落检索器（BPR），一种内存高效的神经检索模型，它将学习哈希技术集成到最先进的稠密段落检索器（DPR）中，以紧凑二值码而非连续向量表示段落索引。BPR以多任务目标在两项任务上训练：基于二值码的高效候选生成与基于连续向量的精确重排序。与DPR相比，BPR在两个标准开放域问答基准Natural Questions和TriviaQA上将内存成本从65GB大幅降至2GB且无精度损失。我们的代码与训练模型见https://github.com/studio-ousia/bpr。
引用
@article{arxiv.2106.00882,
title = {Efficient Passage Retrieval with Hashing for Open-domain Question Answering},
author = {Ikuya Yamada and Akari Asai and Hannaneh Hajishirzi},
journal= {arXiv preprint arXiv:2106.00882},
year = {2021}
}
备注
ACL 2021