全距离草图再探：用于大规模图分析的 HIP 估计量
数据结构与算法
2015-01-20 v7 社会与信息网络
摘要
具有数十亿条边的图数据集（如社交网络和 Web 图）十分普遍，可扩展计算至关重要。全距离草图 (ADS) [Cohen 1997] 是用于统计量可扩展近似的一种强大工具。该草图是节点距离关系的小样本，强调较近的节点。所有节点的草图使用近乎线性的计算生成，并将估计量应用于节点草图以估计其属性。我们首次提供了 ADS 算法及其应用的统一阐述。我们提出了历史逆概率 (HIP) 估计量，将其应用于节点的 ADS 以估计一大类自然统计量。对于邻域基数（某些查询距离内的节点数）和接近中心性这两个重要特例，HIP 估计量的方差至多为先前估计量的一半，我们证明这本质上是最佳的。此外，HIP 在更一般的统计量上获得了多项式级的改进，且这些估计量简单、灵活、无偏且优雅。对于数据流上的近似去重计数，HIP 优于 HyperLogLog MinHash 草图 (Flajolet 等人 2007) 的原始估计量，为该最先进的实用算法获得了显著改进的估计质量。
引用
@article{arxiv.1306.3284,
title = {All-Distances Sketches, Revisited: HIP Estimators for Massive Graphs Analysis},
author = {Edith Cohen},
journal= {arXiv preprint arXiv:1306.3284},
year = {2015}
}
备注
16 pages, 3 figures, extended version of a PODS 2014 paper