大语言模型是否已能挑战世界级小说家在创意文本写作方面？
计算与语言
2025-06-05 v2 人工智能
摘要
大语言模型 (LLM) 在广泛的语言任务中超越平均人的水平已成为常态，创意文本写作亦不例外。于是自然产生了一个问题：LLM 是否已具备与顶尖小说家在创意写作技巧上竞争的能力？为提供初始答案，本文模拟了 DeepBlue 对抗卡斯帕罗夫、AlphaGo 对抗李世豪等 AI 人类对决模式，组织了 Patricio Pron（获奖小说家，被视为一代最佳作家之一）与 GPT-4（顶尖 LLM 之一）之间的竞赛。我们要求 Pron 与 GPT-4 分别提供三十个标题，然后为双方的标题及对手的标题各写一篇短篇小说。随后我们构建了受 Boden 定义创意性启发的评估标准，收集了 5400 份来自文学评论家和学者的手动评估。实验结果表明，LLM 仍远未达到与顶级人类创意写作能力相较量，且仅凭扩大语言模型规模似乎难以实现此类自主创意写作技能。
引用
@article{arxiv.2407.01119,
title = {Pron vs Prompt: Can Large Language Models already Challenge a World-Class Fiction Author at Creative Text Writing?},
author = {Guillermo Marco and Julio Gonzalo and Ramón del Castillo and María Teresa Mateo Girona},
journal= {arXiv preprint arXiv:2407.01119},
year = {2025}
}
备注
9 pages 6 figures