对 AutoML 的信任：探索建立对自动化机器学习系统信任的信息需求
机器学习
2020-01-22 v1 计算机与社会
人机交互
机器学习
摘要
我们探索数据科学一个较新领域的信任问题：自动化机器学习（AutoML）。在 AutoML 中，AI 方法被用于通过自动进行特征工程、选择模型和优化超参数来生成和优化机器学习模型。在本文中，我们试图理解哪些类型的信息会影响数据科学家对 AutoML 所产生模型的信任？我们将信任操作化为部署使用自动化方法所产生模型的意愿。我们报告了三项研究——定性访谈、受控实验和卡片分类任务——的结果，以理解数据科学家建立对 AutoML 系统信任的信息需求。我们发现，在 AutoML 工具中加入透明性特征提高了用户对该工具的信任和可理解性；并且在所有提议的特征中，模型性能度量和可视化是数据科学家在与 AutoML 工具建立信任时最重要的信息。
引用
@article{arxiv.2001.06509,
title = {Trust in AutoML: Exploring Information Needs for Establishing Trust in Automated Machine Learning Systems},
author = {Jaimie Drozdal and Justin Weisz and Dakuo Wang and Gaurav Dass and Bingsheng Yao and Changruo Zhao and Michael Muller and Lin Ju and Hui Su},
journal= {arXiv preprint arXiv:2001.06509},
year = {2020}
}
备注
IUI 2020