基于Apache Spark的大数据集实时日志查询接口
分布式、并行与集群计算
2017-09-26 v1
摘要
Log Query Interface是一个交互式Web应用，允许用户轻松高效地查询MobileInsight的超大日志数据。借助该接口，用户不再需要通过命令行查询与数据库交互，也无需在本地安装MobileInsight客户端来获取数据。用户只需通过我们基于Web的系统选择/输入查询消息，系统便能高效地查询数据库并响应用户。在6GB数据集上测试时，我们的系统响应时间小于1秒，而传统MySQL数据库上的类似查询耗时超过60秒。该系统赋予用户使用SQL查询语言执行所有查询的能力。用户可以对非常大的表执行复杂的连接操作。服务器端Spark集群将大数据集存储在分布式系统中并在多台机器上并行执行查询，极大地改善了查询响应时间。
引用
@article{arxiv.1709.08001,
title = {Real-time Log Query Interface for large datasets using Apache Spark},
author = {Sandeep Sandha and Xin Xu and Yue Xin and Zhehan Li},
journal= {arXiv preprint arXiv:1709.08001},
year = {2017}
}
备注
8 pages, 9 figures, big dataset query report