基于NMSLIB与FlexNeuART的灵活检索
信息检索
2020-11-18 v2
摘要
我们的目标是向NLP社区介绍已有的k-NN搜索库NMSLIB、一个新的检索工具包FlexNeuART以及它们的集成能力。NMSLIB虽是最快的k-NN搜索库之一，但非常通用并支持多种距离/相似度函数。由于该库依赖于基于距离的结构无关算法，它可以通过添加新距离进一步扩展。FlexNeuART是一个模块化、可扩展且灵活的用于IR和QA应用中候选生成的工具包，支持经典与神经排序信号的混合。FlexNeuART可通过扩展NMSLIB高效检索混合的稠密与稀疏表示（权重由训练数据学习得到），而其他检索系统仅能处理纯稀疏表示（如Lucene）、纯稠密表示（如FAISS和Annoy），或仅在重排序阶段进行混合。
引用
@article{arxiv.2010.14848,
title = {Flexible retrieval with NMSLIB and FlexNeuART},
author = {Leonid Boytsov and Eric Nyberg},
journal= {arXiv preprint arXiv:2010.14848},
year = {2020}
}