CREATE：测试 LLM 的关联创造力
计算与语言
2026-05-12 v2
摘要
创造力的一个关键组成部分是联想推理：能够在概念之间绘制出新颖且有意义的联系的能力。我们引入了 CREATE，这是一个旨在评估模型进行创造性联想推理能力的基准测试。CREATE 需要模型生成连接模型参数知识中概念的路径集合。路径应具有高特异性（概念联系的独特性和亲近性）和高多样性（与其他路径的差异性），如果模型产生一组强大且多样的路径，得分更高。该任务共享真实创造力任务的需求，如假设生成，包括极大的搜索空间，但使我们能够收集可观的基准测试并实现客观答案评分。对前沿模型的评估显示，最强大的模型在创造实用性上高于其他模型，由于答案的高倍数性和搜索的复杂性，基准测试难以实现饱和。此外，我们的结果表明，思考型模型在本任务中并不总是比其他模型更有效，即使拥有高的 token 预算。最近的创意提示方法虽然提供了一些但有限的额外改进。CREATE 为开发新方法以提高模型联想创造力能力提供了实验平台。
引用
@article{arxiv.2603.09970,
title = {CREATE: Testing LLMs for Associative Creativity},
author = {Manya Wadhwa and Tiasa Singha Roy and Harvey Lederman and Junyi Jessy Li and Greg Durrett},
journal= {arXiv preprint arXiv:2603.09970},
year = {2026}
}