超越代码生成:在数据可视化课程上评估 GPT
人机交互
2024-05-14 v3 图形学
摘要
本文对生成式预训练 Transformer(GPT)模型在哈佛大学 CS171 数据可视化课程中的表现进行实证评估。先前研究聚焦于 GPT 生成可视化代码的能力,而本研究超越代码生成,评估 GPT 在各类可视化任务中的能力,如数据解读、可视化设计、视觉数据探索与洞见传达。评估利用 GPT-3.5 与 GPT-4 完成 CS171 的作业,并包含基于既定课程量规的定量评估、由三位经验丰富评分者反馈启发的定性分析,以及 GPT 完成边界可视化任务能力的探索性研究。结果表明 GPT-4 在测验与作业中得分 80%,且助教(TF)能以 70% 准确率区分 GPT 与人工生成的作业。研究还展示了 GPT 在完成各类可视化任务(如数据清理、与可视化交互及洞见传达)中的潜力。本文最后讨论了 GPT 在数据可视化中的优势与局限、将 GPT 纳入更广泛可视化任务的潜在途径,以及重新设计可视化教育的必要性。
引用
@article{arxiv.2306.02914,
title = {Beyond Generating Code: Evaluating GPT on a Data Visualization Course},
author = {Chen Zhu-Tian and Chenyang Zhang and Qianwen Wang and Jakob Troidl and Simon Warchol and Johanna Beyer and Nils Gehlenborg and Hanspeter Pfister},
journal= {arXiv preprint arXiv:2306.02914},
year = {2024}
}
备注
vis short papge