实时 Twitter 搜索中倒排记录的动态内存分配策略
信息检索
2013-02-22 v1 数据库
摘要
我们探索了一个实时 Twitter 搜索应用，其中推文以每秒数千条的速率到达。实时搜索要求它们被立即索引并可搜索，这带来了诸多实现挑战。在本文中，我们聚焦于一个方面：完全保存在主存中的索引结构的动态倒排记录分配策略。核心问题可被刻画为一个“Goldilocks 问题”。因为内存如今仍是一种稀缺资源，过于激进的分配策略会导致利用率低下，而过于保守的策略则速度缓慢并导致倒排记录表碎片化。我们提出了一种动态倒排记录分配策略，该策略从少量大型固定内存池中以越来越大的“切片”分配内存。通过分析模型和实验，我们探索了在时间（查询求值速度）与空间（内存利用率）之间取得平衡的不同设置。
引用
@article{arxiv.1302.5302,
title = {Dynamic Memory Allocation Policies for Postings in Real-Time Twitter Search},
author = {Nima Asadi and Jimmy Lin and Michael Busch},
journal= {arXiv preprint arXiv:1302.5302},
year = {2013}
}