关于自动化机器学习工具使用的实证研究
软件工程
2022-08-30 v1 人工智能
机器学习
摘要
过去几年中，自动化机器学习（AutoML）工具在不同领域的流行度不断上升。机器学习（ML）从业者使用 AutoML 工具来自动化和优化特征工程、模型训练以及超参数优化等过程。近期工作对从业者使用 AutoML 工具的体验进行了定性研究，并基于性能和所提供功能比较了不同 AutoML 工具，但现有工作均未大规模研究真实世界项目中使用 AutoML 工具的实践。因此，我们开展了一项实证研究以理解 ML 从业者如何在项目中运用 AutoML 工具。为此，我们考察了使用最广泛的 10 个 AutoML 工具及其在 GitHub 上大量开源项目仓库中的各自使用情况。我们的研究结果显示：1）ML 从业者主要使用哪些 AutoML 工具；2）使用这些 AutoML 工具的仓库的特征。此外，我们识别了使用 AutoML 工具的目的（例如模型参数采样、搜索空间管理、模型评估/误差分析、数据/特征变换以及数据标注）以及 ML 流水线中使用 AutoML 工具的阶段（例如特征工程）。最后，我们报告了在同一源文件中 AutoML 工具被共同使用的频率。我们希望我们的结果能帮助 ML 从业者了解不同 AutoML 工具及其用法，从而为其目的选对工具。此外，AutoML 工具开发者可从我们的发现中受益，以深入了解其工具的使用情况并改进工具以更好地适应用户的使用与需求。
引用
@article{arxiv.2208.13116,
title = {An Empirical Study on the Usage of Automated Machine Learning Tools},
author = {Forough Majidi and Moses Openja and Foutse Khomh and Heng Li},
journal= {arXiv preprint arXiv:2208.13116},
year = {2022}
}
备注
10 pages, 2 reference pages, 7 figures, accepted at the International Conference on Software Maintenance and Evolution (ICSME) 2022