ChatGPT对自然科学与工程学知晓多少
人机交互
2023-09-20 v1
摘要
ChatGPT是OpenAI推出的强大语言模型，据称能够理解与生成文本。ChatGPT有望对社会、研究与教育产生重大影响。理解其预期影响的关键一步是研究其特定领域的作答能力。在此，我们对其在自然科学与工程学领域回答问题的能力进行了系统性实证评估。我们从代尔夫特理工大学5个院系的198名教职员工处收集了594个问题。在收集ChatGPT的回答后，参与者采用系统性方案对回答质量进行评估。我们的结果表明，ChatGPT的回答平均被认为“基本正确”。两大主要趋势是：随着问题复杂程度增加，以及当我们评估超越科学知识（例如批判态度）的技能时，对ChatGPT回答的评分显著下降。
引用
@article{arxiv.2309.10048,
title = {What does ChatGPT know about natural science and engineering?},
author = {Lukas Schulze Balhorn and Jana M. Weber and Stefan Buijsman and Julian R. Hildebrandt and Martina Ziefle and Artur M. Schweidtmann},
journal= {arXiv preprint arXiv:2309.10048},
year = {2023}
}