模型联邦：对 LLMs 在创意写作上的综合评测
计算与语言
2023-10-13 v1 计算机与社会
摘要
我们评测了一系列近期 LLM 在英语创意写作上的表现，这是一项需要想象力、连贯性与风格的艰巨且复杂的任务。我们选用一个困难的、开放式场景以避免训练数据复用：讲述《笨蛋联盟》（1980年普利策奖小说）主角 Ignatius J. Reilly 与史前飞行动物翼手龙之间单挑的史诗叙事。我们让若干 LLM 与人类撰写此类故事，并开展涉及流畅性、连贯性、原创性、幽默感与风格等多维度的人工评测。我们的结果表明，一些最先进的商业 LLM 在大多数维度上匹配或略优于我们的写作者；而开源 LLM 则落后。人类在创造力上保持优势，而幽默感呈现出二元分化：部分 LLM 可处理得与人类相当，其余则完全失败。我们讨论了本研究的启示与局限，并建议了未来研究方向。
引用
@article{arxiv.2310.08433,
title = {A Confederacy of Models: a Comprehensive Evaluation of LLMs on Creative Writing},
author = {Carlos Gómez-Rodríguez and Paul Williams},
journal= {arXiv preprint arXiv:2310.08433},
year = {2023}
}
备注
Accepted for publication in Findings of EMNLP 2023