利用交互式任务分解改进 AI 辅助数据分析中的引导与验证
人机交互
2024-08-02 v2 人工智能
摘要
由 LLM 驱动的工具（如 ChatGPT Data Analysis）有潜力帮助用户应对数据分析编程这一具有挑战性的任务，该任务需要数据处理、编程和统计学方面的专业知识。然而，我们的形成性研究（n=15）揭示了在验证 AI 生成的结果和引导 AI（即引导 AI 系统产生期望输出）方面存在严重挑战。我们开发了两种截然不同的方法来应对这些挑战。第一种方法逐步将问题分解为带有可编辑假设和代码对的逐步子目标，直至任务完成；而第二种方法分阶段将整个问题分解为三个可编辑的逻辑阶段：结构化输入/输出假设、执行计划和代码。一项受控的被试内实验（n=18）将这些系统与对话基线进行了比较。用户报告称，与基线相比，使用 Stepwise 和 Phasewise 系统时具有显著更高的控制感，并发现干预、纠正和验证更容易。研究结果为 AI 辅助数据分析工具提供了设计指南和权衡。
引用
@article{arxiv.2407.02651,
title = {Improving Steering and Verification in AI-Assisted Data Analysis with Interactive Task Decomposition},
author = {Majeed Kazemitabaar and Jack Williams and Ian Drosos and Tovi Grossman and Austin Henley and Carina Negreanu and Advait Sarkar},
journal= {arXiv preprint arXiv:2407.02651},
year = {2024}
}
备注
Published at UIST 2024; 19 pages, 9 figures, and 2 tables