从在线社交网络提取新鲜信息的并行化

在线社交网络 (OSN) 是过去几年中最热门的服务之一。它记录了用户的生活，并为记者、社会学家和商业分析师提供了巨大的潜力。从社交网络爬取数据是社交网络信息分析与处理的基本步骤。随着网络规模变得庞大且网络信息更新速度快于网页，受限于带宽、礼貌协议和计算能力，爬取工作变得更加困难。为了高效地从社交网络中提取新鲜信息，本文提出了一种新颖的爬取方法并讨论了社交网络的并行化架构。为了发现社交网络的特征，我们从真实社交网络中收集数据，对其进行分析并构建模型以描述用户行为的规律。基于建模的行为，我们提出了预测用户行为的方法。根据预测结果，我们更合理地调度爬虫，并利用并行化技术提取更多新鲜信息。实验结果表明，我们的策略能够高效地从 OSN 获取信息。