Loklak：一种用于克服速率限制的分布式爬虫与数据采集器
信息检索
2017-04-13 v1
摘要
现代社交网络已成为海量数据的来源。获取此类大数据对各种研究人员和数据科学家非常有用。在本文中，我们描述了 Loklak，这是一个开源的分布式点对点爬虫和刮取器，旨在支持在 Twitter、微博和其他社交网络等平台上的此类研究。像 Twitter 和微博这样的社交网络对用户自由收集此类数据用于研究的速率施加了各种限制。我们的爬虫使研究人员能够持续收集数据，同时克服认证障碍和速率限制，从而提供一个作为服务的开放数据存储库。
引用
@article{arxiv.1704.03624,
title = {Loklak - A Distributed Crawler and Data Harvester for Overcoming Rate Limits},
author = {Sudheesh Singanamalla and Michael Peter Christen},
journal= {arXiv preprint arXiv:1704.03624},
year = {2017}
}
备注
4 pages, 1 figure