时间衰减重击者的分布式挖掘
分布式、并行与集群计算
2018-12-05 v1 数据结构与算法
摘要
我们提出 \textsc{P2PTFHH}（点对点时间衰减重击者），据我们所知，这是首个在非结构 P2P 网络上挖掘时间衰减重击者的分布式算法。\textsc{P2PTFHH} 基于 \textsc{FDCMSS}（前向衰减计数-最小空间节省）序列算法，并通过在每次交互中合并所涉及节点的底层数据结构，高效利用平均化 gossip 协议。我们形式化证明了分布式算法的收敛性与正确性性质，并表明其快速且易于实现。大量实验结果证实 \textsc{P2PTFHH} 保留了 \textsc{FDCMSS} 提供的极高精度与误差界，同时展现出优异的可扩展性。我们的贡献有三方面：（i）证明平均化 gossip 协议可与我们增强的 sketch 数据结构联合用于挖掘时间衰减重击者；（ii）证明频率估计的误差界；（iii）通过实验证明 \textsc{P2PTFHH} 极其准确且快速，允许对大型数据集进行近实时处理。
引用
@article{arxiv.1812.01450,
title = {Distributed mining of time--faded heavy hitters},
author = {Marco Pulimeno and Italo Epicoco and Massimo Cafaro},
journal= {arXiv preprint arXiv:1812.01450},
year = {2018}
}
备注
arXiv admin note: text overlap with arXiv:1806.06580