面向 AutoML 系统探索式模型构建过程的评估方法
人机交互
2020-09-02 v1
摘要
自动化机器学习(AutoML)系统的使用具有高度开放性和探索性。尽管严格评估终端用户如何与 AutoML 交互至关重要,但为这类探索式系统建立稳健的评估方法颇具挑战。首先,AutoML 十分复杂,包含多个子组件,支持合成 ML 流水线的多种子任务,如数据准备、问题规范和模型生成,难以得出能指明哪些组件成功或失败的洞见。其次,由于 AutoML 的使用模式高度探索性,无法仅依赖广泛使用的任务效率与效果指标作为成功度量。为应对评估中的挑战,我们提出了一种评估方法,其(1)引导 AutoML 构建者将其系统划分为多个子系统组件,(2)通过可视化终端用户的行为模式与态度数据,帮助他们推理各组件。我们开展了一项研究,以理解何时、如何、为何以及应用我们的方法能帮助构建者更好地理解其系统与终端用户。我们招募了 3 个专业 AutoML 构建团队。各团队准备自己的系统并让 41 名终端用户使用。利用我们的方法,我们将终端用户的行为与态度数据可视化,并将结果分发给各团队。我们从两个方向分析结果:AutoML 构建者从终端用户处获得了哪些新型洞见,以及(2)该评估方法如何帮助构建者理解工作流及其系统的有效性。我们的发现提出了阐释 AutoML 领域未来设计机遇的新洞见,以及使用我们的方法如何帮助构建者确定洞见并得出改进系统的具体方向。
引用
@article{arxiv.2009.00449,
title = {Towards Evaluating Exploratory Model Building Process with AutoML Systems},
author = {Sungsoo Ray Hong and Sonia Castelo and Vito D'Orazio and Christopher Benthune and Aecio Santos and Scott Langevin and David Jonker and Enrico Bertini and Juliana Freire},
journal= {arXiv preprint arXiv:2009.00449},
year = {2020}
}