你会向机器学习模型提出什么问题？基于人机对话的模型解释用户需求识别
计算机与社会
2021-11-09 v3 计算与语言
人机交互
机器学习
机器学习
摘要
最近我们观察到可解释人工智能(eXplainable Artificial Intelligence)领域的方法数量不断上升。令我们惊讶的是，这些方法的发展是由模型开发者推动的，而非基于对人类终端用户需求的研究。即便进行了需求分析，也多采用 A/B 测试的形式，而非对开放性问题的研究。为了回答“人类操作员想要向 ML 模型询问什么？”这一问题，我们提出了一种用于解释预测模型决策的对话系统。在本实验中，我们开发了一个名为 dr_ant 的聊天机器人，用于讨论训练来预测泰坦尼克号生存几率的机器学习模型。人们可以与 dr_ant 谈论该模型的不同方面，以理解其预测背后的原理。在收集了 1000 多段对话的语料库后，我们分析了用户最想询问的常见问题类型。据我们所知，这是第一项使用对话系统从对预测模型的交互式、迭代式对话探索中收集人类操作员需求的研究。
引用
@article{arxiv.2002.05674,
title = {What Would You Ask the Machine Learning Model? Identification of User Needs for Model Explanations Based on Human-Model Conversations},
author = {Michał Kuźba and Przemysław Biecek},
journal= {arXiv preprint arXiv:2002.05674},
year = {2021}
}
备注
13 pages, 5 figures, 1 table