twAwler：一个轻量级推特爬虫

本文介绍 twAwler，一个面向特定语言用户社区的轻量级推特爬虫。twAwler 利用推特 API 的多个端点来探索用户关系并快速识别属于目标集合的用户。它对全部用户执行完整爬取，发现许多标准用户关系，包括转发图、提及图、回复图、引用图和关注图等。twAwler 遵守所有推特政策和速率限制，同时能够监控大型活跃用户社区。在 2016 年 8 月至 2018 年 3 月期间，twAwler 被用于生成一个近乎完整的希腊语推特账户（约 33 万）及其推文和关系的大型数据集。总计，该爬虫收集了 7.5 亿条推文，其中 4.24 亿条为希腊语；7.5 亿条关注关系；关于 30 万个列表的信息、其成员（1.19 亿条成员关系）和订阅者（2.7 万条订阅关系）；70.5 万个趋势话题；总计 5200 万用户的信息，其中 29.2 万已被封禁，14.1 万已注销账户，350 万为受保护账户而无法被爬取。twAwler 从收集的推文中挖掘转发、引用、回复和提及图，这些图连同已爬取的关注关系，为分析和进一步研究提供了大量机会。