Pushshift Reddit 数据集
社会与信息网络
2020-01-24 v1 计算机与社会
摘要
社交媒体数据对科学认知的推进已变得至关重要。然而，即便其已无处不在，仅收集大规模社交媒体数据便需要高度的工程技能与计算资源。事实上，研究常常被数据分析前必须克服的数据工程问题所阻碍。这导致数据集本身被认可为有意义的研究贡献。Reddit，所谓“互联网首页”，尤其成为众多科学研究的对象。尽管相比 Facebook 与 Twitter 等社交媒体平台，Reddit 在数据获取上相对开放，但获取的技术壁垒依然存在。因此，Reddit 数以百万计的 subreddit、数亿用户与数千亿评论虽相对可访问，但系统性收集与分析仍耗时良多。本文呈现 Pushshift Reddit 数据集。Pushshift 是一个社交媒体数据收集、分析与归档平台，自 2015 年起收集 Reddit 数据并向研究者开放。Pushshift 的 Reddit 数据集实时更新，并包含自 Reddit 创立以来的历史数据。除月度转储外，Pushshift 提供计算工具以辅助对整个数据集的搜索、聚合与探索性分析。Pushshift Reddit 数据集使社交媒体研究者能减少项目中数据收集、清洗与存储阶段所耗时间。
引用
@article{arxiv.2001.08435,
title = {The Pushshift Reddit Dataset},
author = {Jason Baumgartner and Savvas Zannettou and Brian Keegan and Megan Squire and Jeremy Blackburn},
journal= {arXiv preprint arXiv:2001.08435},
year = {2020}
}