我们是否已实现闭环？VIS4ML研究在泛化性上的差距
人机交互
2023-08-15 v1 人工智能
摘要
面向机器学习的可视化（VIS4ML）研究旨在帮助专家应用其先验知识来开发、理解并提升机器学习模型的性能。在构思VIS4ML系统时，研究者刻画人类知识的本质以支撑人在回路任务，设计交互式可视化使ML组件可解释并引出知识，并评估人机交互的有效性。我们调研了近期的VIS4ML论文，以评估其在赋能人在回路机器学习方面研究贡献与主张的泛化性。我们的结果显示了当前VIS4ML研究范围与其在实际中应用愿景之间的潜在差距。我们发现，尽管论文声称VIS4ML系统适用于所研究特定条件之外的场景，但结论常过度拟合于非代表性情境，基于与少数ML专家及已被充分理解的数据集的交互，未能承认关键依赖关系，且依赖于缺乏依据的决策。我们讨论了缩小愿景与研究主张之间差距的方法，并建议采用文档实践以报告泛化性约束，从而更好地承认VIS4ML研究的探索性本质。
引用
@article{arxiv.2308.06290,
title = {Are We Closing the Loop Yet? Gaps in the Generalizability of VIS4ML Research},
author = {Hariharan Subramonyam and Jessica Hullman},
journal= {arXiv preprint arXiv:2308.06290},
year = {2023}
}