我们真的需要抓取全部吗？一种新的用户引导式社交媒体爬取方法
社会与信息网络
2017-12-15 v3
摘要
随着 Facebook 和 Twitter 等流行社交媒体服务的日益广泛使用，在没有核心基础设施访问权限或付费的情况下，收集网络中的所有内容变得极具挑战性。因此，如果无法收集所有内容，就必须考虑哪些数据最为重要。在这项工作中，我们提出了一种新颖的用户引导式社交媒体爬取方法（User-guided Social Media Crawling method, USMC），该方法能够从社交媒体收集数据，并利用群体智慧来决定用户生成内容的收集顺序，以覆盖尽可能多的用户交互。通过爬取 160 个公共 Facebook 页面（包含来自 3.68 亿用户的 13 亿次交互）对 USMC 进行了验证，并将其与其他两种爬取方法进行了比较。结果表明，仅需采样 20% 的帖子，即可覆盖 Facebook 页面上约 75% 的交互，同时将爬取时间减少 53%。此外，与从所有帖子创建的社会网络相比，由 20% 样本构建的社会网络包含了超过 75% 的用户和边，且具有相似的度分布。
引用
@article{arxiv.1612.01734,
title = {Do we really need to catch them all? A new User-guided Social Media Crawling method},
author = {Fredrik Erlandsson and Piotr Bródka and Martin Boldt and Henric Johnson},
journal= {arXiv preprint arXiv:1612.01734},
year = {2017}
}