指导来源至关重要:来自AI、专家或分析师小组的指导如何影响可视化数据准备与分析
人机交互
2025-02-04 v1 人工智能
摘要
生成式人工智能的进步推动了诸如副驾驶和助手等AI驱动工具的发展,以提供更好的指导,特别是在数据分析过程中。然而,关于指导的研究尚未考察提供指导的来源的感知效能,以及该来源对用户感知和使用指导的影响。我们探究用户是否认为所有指导来源都同等有效,特别关注三种来源:(i) AI,(ii) 人类专家,以及 (iii) 一组人类分析师。作为基准,我们考虑了第四种来源,(iv) 未归因指导,即提供指导时不指明任何来源,从而能够隔离并比较特定来源指导的效果。我们设计了一项五条件受试者间研究,为四种指导来源各设一个条件,并增加一个 (v) 无指导条件,作为评估任何类型指导影响的基线。我们将研究置于一个定制的数据准备和分析工具中,在该工具中,我们要求用户从一个不熟悉的数据集中选择相关属性,为一份商业报告提供信息。根据分配的条件,用户可以请求指导,系统随后以属性建议的形式提供。为确保内部效度,我们控制了不同来源条件下指导的质量。通过多种使用和感知指标,我们对五个预注册假设进行了统计检验,并报告了额外的分析。我们发现,指导的来源对用户确实重要,但其方式与普遍认知不符。例如,尽管收到的指导质量相似,用户在分析的不同阶段使用指导的方式不同,包括表达了不同程度的遗憾。值得注意的是,AI条件下的用户报告了更高的任务后收益和遗憾。
引用
@article{arxiv.2502.00682,
title = {Guidance Source Matters: How Guidance from AI, Expert, or a Group of Analysts Impacts Visual Data Preparation and Analysis},
author = {Arpit Narechania and Alex Endert and Atanu R Sinha},
journal= {arXiv preprint arXiv:2502.00682},
year = {2025}
}
备注
21 pages, 10 figures, 6 figures, to appear in proceedings of ACM IUI 2025