Twitter 数据分析的统一日志基础设施
数据库
2012-08-22 v1
摘要
近年来，在使用运行于大型商用机器集群上的基于 Hadoop 的平台进行大规模数据分析方面已有大量工作。一个较少被探索的主题是：这些数据（主要由应用日志主导）最初是如何收集和结构化的。在本文中，我们介绍了 Twitter 的生产日志基础设施及其演变过程，即从特定于应用的日志记录发展为统一的“客户端事件”日志格式，其中消息以通用、格式良好且灵活的 Thrift 消息形式被捕获。由于大多数分析任务将用户会话作为基本分析单元，我们预物化了“会话序列”，这是一种紧凑的摘要，能够快速回答大量常见查询。该基础设施的开发简化了日志收集与数据分析，从而提高了我们在服务各个方面快速实验和迭代的能力。
引用
@article{arxiv.1208.4171,
title = {The Unified Logging Infrastructure for Data Analytics at Twitter},
author = {George Lee and Jimmy Lin and Chuang Liu and Andrew Lorek and Dmitriy Ryaboy},
journal= {arXiv preprint arXiv:1208.4171},
year = {2012}
}
备注
VLDB2012