大语言模型能否生成好故事？来自叙事规划视角的洞察与挑战

故事生成是大语言模型（LLM）的一项突出应用。然而，由于自动评估方法的挑战以及人工评估的高成本和主观性，对LLM生成高质量故事的能力理解仍然有限。计算叙事学为构成好故事的要素提供了有价值的见解，这已被应用于符号叙事规划的故事生成方法。本研究旨在通过让LLM解决叙事规划问题来加深对LLM故事生成能力的理解。我们提出一个基于文学示例评估LLM叙事规划的基准，重点关注因果合理性、角色意图性和戏剧冲突。我们的实验表明，GPT-4级别的大语言模型可以在小规模上生成因果合理的故事，但在角色意图性和戏剧冲突的规划方面仍然具有挑战性，需要经过强化学习训练的大语言模型来进行复杂推理。结果从不同方面提供了LLM在保持质量的同时能生成多大规模故事的洞察。我们的发现还揭示了有趣的解决问题行为，并为在大语言模型叙事规划应用于游戏环境中的挑战和考量提供了启示。