中文

超越代码生成:在数据可视化课程上评估 GPT

人机交互 2024-05-14 v3 图形学

摘要

本文对生成式预训练 Transformer(GPT)模型在哈佛大学 CS171 数据可视化课程中的表现进行实证评估。先前研究聚焦于 GPT 生成可视化代码的能力,而本研究超越代码生成,评估 GPT 在各类可视化任务中的能力,如数据解读、可视化设计、视觉数据探索与洞见传达。评估利用 GPT-3.5 与 GPT-4 完成 CS171 的作业,并包含基于既定课程量规的定量评估、由三位经验丰富评分者反馈启发的定性分析,以及 GPT 完成边界可视化任务能力的探索性研究。结果表明 GPT-4 在测验与作业中得分 80%,且助教(TF)能以 70% 准确率区分 GPT 与人工生成的作业。研究还展示了 GPT 在完成各类可视化任务(如数据清理、与可视化交互及洞见传达)中的潜力。本文最后讨论了 GPT 在数据可视化中的优势与局限、将 GPT 纳入更广泛可视化任务的潜在途径,以及重新设计可视化教育的必要性。

关键词

引用

@article{arxiv.2306.02914,
  title  = {Beyond Generating Code: Evaluating GPT on a Data Visualization Course},
  author = {Chen Zhu-Tian and Chenyang Zhang and Qianwen Wang and Jakob Troidl and Simon Warchol and Johanna Beyer and Nils Gehlenborg and Hanspeter Pfister},
  journal= {arXiv preprint arXiv:2306.02914},
  year   = {2024}
}

备注

vis short papge