PipelineProfiler：一种用于探索AutoML流水线的可视化分析工具
人机交互
2020-09-07 v2
摘要
近年来，人们提出了多种自动化机器学习（AutoML）方法来搜索和生成端到端学习流水线。尽管这些技术促进了面向真实世界应用的模型创建，但由于其黑盒性质、底层算法的复杂性以及它们衍生的庞大流水线数量，其开发者难以调试这些系统。机器学习专家也难以选择适合给定问题或问题类别的AutoML系统。在本文中，我们提出PipelineProfiler，一种交互式可视化工具，允许探索和比较由AutoML系统生成的机器学习（ML）流水线解空间。PipelineProfiler与Jupyter Notebook集成，可与常见数据科学工具一起使用，以实现对ML流水线的丰富分析并提供关于生成它们的算法的洞察。我们通过多个用例展示了该工具的实用性，其中PipelineProfiler被用于更好地理解和改进一个真实世界的AutoML系统。此外，我们通过对六名开发和评估AutoML工具的数据科学家进行的出声思考实验的详细分析来验证我们的方法。
引用
@article{arxiv.2005.00160,
title = {PipelineProfiler: A Visual Analytics Tool for the Exploration of AutoML Pipelines},
author = {Jorge Piazentin Ono and Sonia Castelo and Roque Lopez and Enrico Bertini and Juliana Freire and Claudio Silva},
journal= {arXiv preprint arXiv:2005.00160},
year = {2020}
}
备注
To appear at IEEE VIS 2020