征集人在回路用户反馈用于交互式机器学习反而降低用户信任与对模型准确率的印象
人机交互
2020-08-31 v1 人工智能
机器学习
摘要
混合主动系统允许用户交互式提供反馈以潜在改进系统性能。人类反馈可纠正模型错误并更新模型参数，从而动态适应变化的数据。此外，许多用户希望获得更高程度的控制能力并修复其所依赖系统中的可感知缺陷。然而，向自主系统提供反馈的能力如何影响用户信任在很大程度上仍是未被探索的研究领域。我们的研究调查了提供反馈的行为如何影响用户对智能系统及其准确性的理解。我们提出了一项使用带图像数据的模拟目标检测系统的受控实验，以研究交互式反馈收集对用户印象的影响。结果表明，无论系统准确率是否随其反馈而改善，提供人在回路（human-in-the-loop）反馈都降低了参与者对系统的信任及其对系统准确率的感知。这些结果凸显了在设计智能系统时考虑允许终端用户反馈对用户信任影响的重要性。
引用
@article{arxiv.2008.12735,
title = {Soliciting Human-in-the-Loop User Feedback for Interactive Machine Learning Reduces User Trust and Impressions of Model Accuracy},
author = {Donald R. Honeycutt and Mahsan Nourani and Eric D. Ragan},
journal= {arXiv preprint arXiv:2008.12735},
year = {2020}
}
备注
Accepted and to appear in the Proceedings of the AAAI Conference on Human Computation and Crowdsourcing (HCOMP) 2020