将GPT-3的创造力置于（替代用途）测试之下
人工智能
2022-06-22 v1 计算与语言
人机交互
摘要
人工智能大型语言模型已经（共同）创作了令人惊叹的书面作品，从报纸文章到小说和诗歌。这些作品符合创造力标准定义的标准：具有原创性和有用性，有时甚至包含惊喜这一额外元素。但是，一个旨在预测下一个文本片段的大型语言模型能否提供创造性的、打破常规的、同时仍能解决手头问题的回应？我们对OpenAI的生成式自然语言模型GPT-3进行了测试。它能对创造力研究中最常用的测试之一提供创造性解决方案吗？我们评估了GPT-3在吉尔福德替代用途测试（AUT）上的创造力，并将其表现与先前收集的人类回应在原创性、有用性和惊喜度的专家评分、每组想法的灵活性以及基于回应与所讨论AUT对象之间语义距离的自动化创造力测量方法上进行了比较。我们的结果表明，总体而言，人类目前在创造性输出方面优于GPT-3。但是，我们相信GPT-3在这项特定任务上赶上人类只是时间问题。我们讨论了这项工作所揭示的关于人类和AI创造力、创造力测试以及我们对创造力定义的认识。
引用
@article{arxiv.2206.08932,
title = {Putting GPT-3's Creativity to the (Alternative Uses) Test},
author = {Claire Stevenson and Iris Smal and Matthijs Baas and Raoul Grasman and Han van der Maas},
journal= {arXiv preprint arXiv:2206.08932},
year = {2022}
}
备注
5 pages, 6 figures, accepted at the International Conference on Computational Creativity (ICCC) 2022 as a Short Paper. See https://osf.io/vmk3c/ for data, analyses and code