DataPrep.EDA：面向 Python 中统计建模的以任务为中心的探索性数据分析
数据库
2021-04-13 v2
摘要
探索性数据分析（EDA）是任何数据科学项目中的关键步骤。然而，现有的 Python 库在支持数据科学家完成统计建模的常见 EDA 任务方面存在不足。它们的 API 设计要么层级过低，针对绘图而非 EDA 优化；要么层级过高，难以指定更细粒度的 EDA 任务。为此，我们提出了 DataPrep.EDA，一个 Python 中新颖的以任务为中心的 EDA 系统。DataPrep.EDA 允许数据科学家通过单次函数调用以声明方式指定不同粒度的广泛 EDA 任务。我们指出了实现 DataPrep.EDA 的若干挑战，并提出了提升系统可扩展性、可用性和可定制性的有效解决方案。特别地，我们讨论了使用 Dask 构建 EDA 任务数据处理流水线的一些经验教训，并描述了加速这些流水线的方法。我们进行了大量实验，将 DataPrep.EDA 与 Python 中最先进的 EDA 系统 Pandas-profiling 进行比较。实验表明，DataPrep.EDA 在速度和用户体验方面均显著优于 Pandas-profiling。DataPrep.EDA 已开源作为 DataPrep 的 EDA 组件：https://github.com/sfu-db/dataprep。
引用
@article{arxiv.2104.00841,
title = {DataPrep.EDA: Task-Centric Exploratory Data Analysis for Statistical Modeling in Python},
author = {Jinglin Peng and Weiyuan Wu and Brandon Lockhart and Song Bian and Jing Nathan Yan and Linghao Xu and Zhixuan Chi and Jeffrey Rzeszotarski and Jiannan Wang},
journal= {arXiv preprint arXiv:2104.00841},
year = {2021}
}