揭秘黑暗艺术：理解现实世界中的机器学习模型开发
机器学习
2020-05-05 v1 数据库
摘要
众所周知，开发机器学习（ML）工作流的过程是一门黑暗艺术；即使是专家也难以找到能产生高精度模型的最优工作流。用户目前依赖经验性的试错法来获得自己的一套经过实战检验的指南，以指导他们的建模决策。在本研究中，我们旨在通过理解人们在实践中如何迭代ML工作流来揭秘这门黑暗艺术。我们分析了OpenML（一个用于跟踪和共享ML工作流的开源平台）上超过47.5万个用户生成的工作流。我们发现，用户在迭代其工作流时通常采用手动、自动或混合方法。我们观察到，与自动化方法相比，手动方法导致的浪费迭代更少。然而，自动化方法通常涉及探索更多的预处理和超参数选项，从而带来更高的整体性能——这提示了一个人在回路中的ML系统可能带来的好处，该系统能恰当地推荐两种策略的巧妙组合。
引用
@article{arxiv.2005.01520,
title = {Demystifying a Dark Art: Understanding Real-World Machine Learning Model Development},
author = {Angela Lee and Doris Xin and Doris Lee and Aditya Parameswaran},
journal= {arXiv preprint arXiv:2005.01520},
year = {2020}
}