Sibyl：理解并应对高风险决策中机器学习的可用性挑战
人机交互
2021-09-21 v2 机器学习
摘要
机器学习（ML）正被应用于日益多样化且不断扩展的领域。在许多情况下，领域专家——通常不具备 ML 或数据科学专业知识——被要求使用 ML 预测来做出高风险决策。由此可能出现多种 ML 可用性挑战，例如用户对模型缺乏信任、无法调和人与 ML 的分歧，以及对将复杂问题过度简化为单一算法输出所产生的伦理担忧。在本文中，我们通过一系列与儿童福利筛查人员的合作，调查了儿童福利筛查领域中所呈现的 ML 可用性挑战。遵循 ML 科学家、可视化研究人员与领域专家（儿童筛查员）之间的迭代设计过程，我们首先确定了四个关键 ML 挑战，并聚焦于一种有前景的可解释 ML 技术来解决它们（局部因素贡献）。随后我们实现并评估了可视化分析工具 Sibyl，以提升局部因素贡献的可解释性与交互性。我们工具的有效性通过两项正式用户研究分别得到验证，参与者包括 12 名非专家与 13 名专家。我们收集了宝贵的反馈，并据此整理出一份设计启示清单，作为旨在为儿童福利筛查人员及其他类似领域专家开发可解释且交互式 ML 预测模型可视化工具的研究人员的实用指南。
引用
@article{arxiv.2103.02071,
title = {Sibyl: Understanding and Addressing the Usability Challenges of Machine Learning In High-Stakes Decision Making},
author = {Alexandra Zytek and Dongyu Liu and Rhema Vaithianathan and Kalyan Veeramachaneni},
journal= {arXiv preprint arXiv:2103.02071},
year = {2021}
}
备注
Updated to version presented at VIS 2021