GPT-4 是一名优秀的数据分析师吗？
计算与语言
2023-10-24 v2
摘要
随着大语言模型（LLM）在众多领域和任务中展现出强大能力，包括上下文理解、代码生成、语言生成、数据叙事等，许多数据分析师可能会担忧其工作是否会被人工智能（AI）取代。这一争议性话题已引起公众广泛关注。然而，我们仍处于观点分歧、尚无定论的阶段。受此驱动，我们在本工作中提出“GPT-4 是一名优秀的数据分析师吗？”这一研究问题，并旨在通过头对头的比较研究来回答它。具体而言，我们将 GPT-4 视为数据分析师，利用来自广泛领域的数据库执行端到端数据分析。我们提出了一个框架，通过精心设计 GPT-4 的提示词来进行实验以解决问题。我们还设计了若干任务特定的评估指标，以系统比较若干专业人类数据分析师与 GPT-4 之间的表现。实验结果表明，GPT-4 可达到与人类相当的性能。我们还对结果进行了深入讨论，为进一步研究提供启示，在此之前尚不能得出 GPT-4 可取代数据分析师的结论。
引用
@article{arxiv.2305.15038,
title = {Is GPT-4 a Good Data Analyst?},
author = {Liying Cheng and Xingxuan Li and Lidong Bing},
journal= {arXiv preprint arXiv:2305.15038},
year = {2023}
}
备注
19 pages, 2 figures