现代硬件上倒排索引的性能包络
信息检索
2019-10-29 v2
摘要
本文利用开源 Lucene 搜索库中的实现，探讨了现代硬件上“传统”倒排索引的性能包络。我们在单一高端多核商用服务器的多种配置下对索引吞吐量进行基准测试，改变源集合与目标索引的介质，考察了网络附加存储、直连磁盘阵列与固态硬盘（SSD）。实验表明，性能的最大决定因素是源与目标介质的物理特性，而将二者物理隔离可产生最高的索引吞吐量。结果表明，当前的索引技术已触及物理设备极限，若不依据观测到的瓶颈重新思考倒排索引流水线，进一步的算法性能改进不太可能实现。
引用
@article{arxiv.1910.11028,
title = {The Performance Envelope of Inverted Indexing on Modern Hardware},
author = {Jimmy Lin and Lori Paniak and Gordon Boerke},
journal= {arXiv preprint arXiv:1910.11028},
year = {2019}
}