组合创意：通用能力的新领域

人工智能（AI）系统，特别是大型语言模型（LLM），越来越多地被用于科学想象生成等创意任务，这构成了一种从训练数据中进行的 generalization，尚未被现有概念框架所覆盖。尽管其类似于组成性 generalization（CG），但组合创意（CC）是一种开放性的能力。与针对固定目标进行准确性或正确性评估（这会矛盾于 CC 的开放性）相反，我们提出了一个理论框架和算法任务，通过评估输出的新颖性和实用性来进行评估。基于此，我们做出了几个重要的实证贡献：（1）我们获得了创意规模行为的第一个见解。（2）我们发现，对于固定的计算预算，存在最佳的模型深度和宽度来实现创意能力。（3）我们发现，想象-执行之间的鸿沟，即 LLM 在生成新颖的科学想法方面表现出色，但在确保其实际可行性方面则感到困难，这可能由创意算法普遍特有的更根本的新颖性-实用性权衡所解释。尽管我们的发现在 100M 规模下仍然成立，但当今的前沿模型已经深入到数十亿参数的范围内。因此，我们的概念框架和实证发现可以作为理解和改进当今前沿规模模型创意的起点，作为我们开始弥合人类智能与机器智能之间差距。