数据分析中的数据工程：问题分类与案例研究
数据库
2020-04-28 v1
摘要
考虑一位数据分析师希望对给定数据集进行分析的情形。人们广泛认识到，分析师的大部分时间将耗费在诸如获取数据、理解数据、清洗数据和准备数据等“数据工程”任务上。在本文中，我们将此类任务描述并分类为若干高层组别，即数据组织、数据质量和特征工程。我们还提供了四个数据集及示例分析，它们展现出上述各类问题的广泛多样性，以帮助推动相关工具与技术发展，从而减轻这一负担并推进数据工程过程自动化或半自动化的研究。
引用
@article{arxiv.2004.12929,
title = {Data Engineering for Data Analytics: A Classification of the Issues, and Case Studies},
author = {Alfredo Nazabal and Christopher K. I. Williams and Giovanni Colavizza and Camila Rangel Smith and Angus Williams},
journal= {arXiv preprint arXiv:2004.12929},
year = {2020}
}
备注
24 pages, 1 figure, submitted to IEEE Transactions on Knowledge and Data Engineering