通过数据与可视化设计探针引发用户的模型引导交互
人机交互
2023-10-17 v1 机器学习
摘要
领域专家日益使用自动化数据科学工具将机器学习（ML）模型纳入其工作，但在模型出错时难以“调试”。对这些专家而言，语义交互提供了一种易用的途径，可在不必以编程方式深入技术细节的情况下引导并精炼ML模型。本研究采用数据与可视化设计探针开展引发研究，考察具有不同ML专业程度的专家是否及如何运用语义交互来更新一个简单的分类模型。我们利用设计探针与20名参与者促成互动对话，并将其交互整理为一组目标-交互对。有趣的是，我们发现许多语义交互的目标并不直接对应于ML模型参数，而是旨在扩充模型训练所用数据。我们还识别出参与者不愿与ML模型交互的原因，包括认知负荷负担与对引入偏见的担忧。出乎意料的是，参与者也看到了利用语义交互与团队成员协作的价值。ML专业程度较低的参与者认为这是向ML专家传达自身关切的有用机制。这一观察尤为重要，因为本研究还显示了对应于不同ML专业程度的差异化需求。综上，我们证明设计探针是主动收集交互式机器学习系统中应提供之功能启示的有效工具。
引用
@article{arxiv.2310.09314,
title = {Eliciting Model Steering Interactions from Users via Data and Visual Design Probes},
author = {Anamaria Crisan and Maddie Shang and Eric Brochu},
journal= {arXiv preprint arXiv:2310.09314},
year = {2023}
}