利用数据准备、HBase NoSQL 存储与 HiveQL 查询支撑 COVID-19 大数据分析项目
数据库
2020-04-02 v1
摘要
流行病学家、科学家、统计学家、历史学家、数据工程师与数据科学家正致力于寻找描述性模型与理论以解释 COVID-19 扩散现象，或构建分析预测模型以学习 COVID-19 确诊病例、康复病例与死亡演化曲线的拐点。在 CRISP-DM 生命周期中，仅数据准备阶段便消耗 75% 的时间，给构建机器学习模型的科学家与数据科学家带来巨大压力与负担。本文旨在通过给出详细的模式设计与数据准备技术脚本，将约翰斯·霍普金斯大学 COVID-19 每日数据格式化并存储于 HBase NoSQL 数据存储中，并以类关系型 Hive SQL 风格启用 HiveQL 的 COVID-19 数据查询，从而帮助减少数据准备工作量。
引用
@article{arxiv.2004.00253,
title = {Leveraging Data Preparation, HBase NoSQL Storage, and HiveQL Querying for COVID-19 Big Data Analytics Projects},
author = {Karim Baïna},
journal= {arXiv preprint arXiv:2004.00253},
year = {2020}
}