从点击到对话：评估对话代理在统计分析中的有效性
人机交互
2025-02-18 v2 统计计算
摘要
数据科学的快速普及迫使不同背景的不同群体适应统计分析。我们假设对话代理比传统的图形用户界面（GUI）更适合统计分析。在本工作中，我们提出了一种用于统计分析的新型对话代理StatZ。我们从准确性、任务完成时间、用户体验和用户满意度等方面评估了StatZ相对于已建立的统计软件SPSS、SAS、Stata和JMP的效能。我们将最先进的语言模型提出的分析问题与统计分析专家的建议相结合，并对51名来自不同背景的参与者进行了测试。我们的实验设计评估了每位参与者使用传统统计分析GUI工具以及我们的对话代理执行统计分析任务的能力。结果表明，所提出的对话代理在所有评估指标上均显著优于GUI统计软件，包括定量指标（任务完成时间、准确性和用户体验）和定性指标（用户满意度）。我们的发现强调了使用对话代理增强统计分析流程的潜力，可降低认知负荷和学习曲线，从而将数据分析能力普及给统计知识有限的个人。
引用
@article{arxiv.2502.08114,
title = {From Clicks to Conversations: Evaluating the Effectiveness of Conversational Agents in Statistical Analysis},
author = {Qifu Wen and Prishita Kochhar and Sherif Zeyada and Tahereh Javaheri and Reza Rawassizadeh},
journal= {arXiv preprint arXiv:2502.08114},
year = {2025}
}
备注
20 pages, 6 figures. Under review