DataAssist：一种用于数据清洗与准备机器学习方法
机器学习
2023-07-18 v2 人工智能
数据库
摘要
当前的自动化机器学习（ML）工具以模型为中心，聚焦于模型选择与参数优化。然而，数据分析中的大部分时间用于数据清洗与整理，而可用工具有限。在此我们提出DataAssist，一个利用ML驱动方法提升数据集质量的自动化数据准备与清洗平台。我们展示DataAssist提供了一条用于探索性数据分析与数据清洗的流水线，包括为用户选定变量生成可视化、统一数据标注、建议异常值移除以及数据预处理。导出的数据集可轻松与其他autoML工具或用户指定模型集成以进行下游分析。我们以数据为中心的工具适用于多个领域，包括经济学、商业与预测应用，可节省超过50%用于数据清洗与准备的时间。
引用
@article{arxiv.2307.07119,
title = {DataAssist: A Machine Learning Approach to Data Cleaning and Preparation},
author = {Kartikay Goyle and Quin Xie and Vakul Goyle},
journal= {arXiv preprint arXiv:2307.07119},
year = {2023}
}