样本足够好吗？比较Twitter流式API与Firehose的数据
社会与信息网络
2013-06-24 v1 物理与社会
摘要
Twitter是一个社交媒体巨头，以交换称为“推文”的短消息（140字符）而闻名。在科学界，这个微博网站以其数据共享的开放性而著称。它通过“流式API”提供对其数百万用户和数十亿条推文的窥视，该API提供符合API用户预设参数的所有推文的样本。该API服务已被许多研究人员、公司以及希望根据与社交媒体相关的各种问题提取知识的政府机构所使用。Twitter API的主要缺点是缺乏关于用户获得什么数据以及获得多少数据的文档。这导致研究人员质疑采样数据是否有效代表Twitter上的整体活动。在这项工作中，我们通过比较使用Twitter采样API服务收集的数据与使用完整的、尽管昂贵的Firehose流（包含每一条已发布的推文）收集的数据来着手回答这个问题。我们使用常见的统计指标以及允许我们比较推文的主题、网络和位置的指标来比较两个数据集。我们的工作结果将帮助研究人员和从业者理解使用流式API的含义。
引用
@article{arxiv.1306.5204,
title = {Is the Sample Good Enough? Comparing Data from Twitter's Streaming API with Twitter's Firehose},
author = {Fred Morstatter and Jürgen Pfeffer and Huan Liu and Kathleen M. Carley},
journal= {arXiv preprint arXiv:1306.5204},
year = {2013}
}
备注
Published in ICWSM 2013