面向大规模基于内容网络的可扩展订阅聚合与实时事件匹配
分布式、并行与集群计算
2018-11-22 v2
摘要
尽管已提出许多可扩展事件匹配算法以实现大规模基于内容网络的可扩展性,但基于内容的发布/订阅网络(尤其是大规模实时系统)在订阅规模增长时仍面临性能恶化。订阅聚合技术可通过利用订阅间的相似性来减少订阅分发流量与订阅表大小,但高效的订阅聚合并非易事。先前的研究已证明其为 NP-完全或 co-NP 完全问题。本文中,我们提出 DLS(离散标签集),一种新颖的订阅表示模型,并设计算法实现从传统布尔谓词模型到 DLS 模型的映射。基于 DLS 模型,我们提出一种在大多数情况下具有 O(1) 时间复杂度的订阅聚合算法,以及一种具有 O(1) 时间复杂度的事件匹配算法。显著的性能提升以内存消耗与可控误报率为代价。我们的理论分析表明,这些算法本质可扩展,并能在大规模基于内容的发布/订阅网络中实现实时事件匹配。我们讨论了内存、误报率与内容空间划分粒度之间的权衡。实验结果表明所提算法达到预期性能。随着计算机内存容量增加与内存价格下降,越来越多大规模实时应用可从我们提出的 DLS 模型中受益,如股票行情分发、地震监测与恶劣天气预警。
引用
@article{arxiv.1811.07088,
title = {Towards Scalable Subscription Aggregation and Real Time Event Matching in a Large-Scale Content-Based Network},
author = {Ruisheng Shi and Lina Lan and Peng Liu and Di Ao and Yueming Lu},
journal= {arXiv preprint arXiv:1811.07088},
year = {2018}
}