笔记本电脑上大型社交网络的实时社区检测
社会与信息网络
2016-09-06 v2 机器学习
摘要
对于广泛的研究、政府和商业应用而言，理解社会中关键参与者的忠诚、社区和结构十分重要。提取此信息的一个有前景的方向是利用数字社交网络（社交图）中丰富的关联数据。由于社交媒体数据集非常庞大，大多数方法为此使用分布式计算系统。分布式图处理需要解决许多困难的工程问题，这导致一些研究者转向更快且更易维护的单机解决方案。在本文中，我们提出了一个用于大规模图处理的单机实时系统，使分析人员能够交互式探索图结构。其核心思想是，大量用户的总体积聚行为可被压缩为一种数据结构，该结构封装了用户相似性，同时对噪声鲁棒且可实时查询。我们通过使用 minhash 签名压缩每个顶点的邻域，并通过局部敏感哈希（Locality Sensitive Hashing）促进快速查询，从而实现单机实时性能。这些技术将查询时间从工业台式机在完整图上运行的几小时减少到标准笔记本电脑上的毫秒级。我们的方法允许在笔记本电脑上实时探索大型图中紧密关联的区域（即社区）。它已部署在社交网络分析人员积极使用的软件中，并为媒体所有者提供了将其数据变现的另一渠道，帮助他们继续提供全球数十亿人重视的免费服务。
引用
@article{arxiv.1601.03958,
title = {Real-Time Community Detection in Large Social Networks on a Laptop},
author = {Benjamin Paul Chamberlain and Josh Levy-Kramer and Clive Humby and Marc Peter Deisenroth},
journal= {arXiv preprint arXiv:1601.03958},
year = {2016}
}