EXMOS 用户研究经验教训：总结为评估 EXMOS 平台所开展用户研究关键收获的技术报告

在交互式机器学习系统领域，提供解释作为调试和改进预测模型过程的重要辅助手段。然而，各类以全局模型为中心和以数据为中心的解释能在多大程度上有效协助领域专家检测并解决潜在数据相关问题以改进模型，在很大程度上仍未被探索。在本技术报告中，我们总结了两项用户研究的关键发现。我们的研究全面考察了在以数据为中心和以模型为中心的全局解释影响下，旨在支持医疗专家通过自动和手动数据配置优化机器学习系统的系统中的效果。为实证考察这些动态，我们开展了两项用户研究，包括涉及 70 名医疗专家的定量分析和涉及 30 名医疗专家的定性评估。这些研究旨在阐明不同解释类型对三个关键维度——信任、可理解性和模型改进——的影响。结果表明，仅以全局模型为中心的解释不足以在复杂的数据配置过程中有效引导用户。相比之下，以数据为中心的解释通过增强对配置后系统变更的理解展现了其潜力。然而，两者结合在促进医疗专家信任、提升可理解性和助力模型改进方面表现出最高效能。我们还提出了开发由解释驱动的交互式机器学习系统的重要启示。这些见解可指导创建更有效的系统，使领域专家能够充分利用机器学习的潜力。