Prediction Factory：预测模型的自动化开发与协同评估
机器学习
2018-11-30 v1 机器学习
摘要
在本文中，我们提出了一个称为 Prediction Factory 的数据科学自动化系统。该系统使用若干关键自动化算法，使数据科学家能够快速开发预测模型并与领域专家共享。为评估系统的影响，我们实现了三种用于创建预测建模项目的不同界面：基线自动化、完全自动化和可选自动化。利用一组在线杂货购物者行为数据集，我们将数据科学家分配到不同界面，以指定预测问题、学习并评估模型，并撰写报告供领域专家判断是否资助以继续研究。总计 22 名数据科学家创建了 94 份报告，由 26 名专家进行了 296 次评判。在头对头试验中，使用完全数据科学自动化界面生成的报告获得资助的比例为 57.5%，而使用基线自动化的报告仅获得 42.5% 的资助。支持可选自动化的中间界面生成的报告相比基线多获得 58.6% 的资助。完全自动化与可选自动化报告在头对头比较中获得资助的比例大致相等。这些结果表明，Prediction Factory 已实现关键的自动化程度，以增强数据科学家的角色并改善业务成果。
引用
@article{arxiv.1811.11960,
title = {Prediction Factory: automated development and collaborative evaluation of predictive models},
author = {Gaurav Sheni and Benjamin Schreck and Roy Wedge and James Max Kanter and Kalyan Veeramachaneni},
journal= {arXiv preprint arXiv:1811.11960},
year = {2018}
}