重新定义“创意”：为增强创意生成的语义理解

“创意”这一概念对人类和扩散模型而言都具有内在的抽象性。虽然文本到图像（T2I）扩散模型能够轻松生成类似“一只蓝色香蕉”这样的离分布概念，但在生成由多个元素组合而成的创意对象时（例如“一种类似生菜和螳螂的创意混合物”）时，却难以处理，因为难以理解“创意”的语义深度。当前方法依赖大量合成参考提示或图像以实现创意效果，通常需要为每个独特的创意输出进行 retraining——这一过程计算密集，限制了实际应用。为此，我们引入CreTok，通过将“创意”重新定义为一个新标记 \texttt{<CreTok>} 来引入元创意，进而增强模型对组合创意的语义理解。CreTok 通过从我们提出的CangJie数据集中迭代采样多样文本对，以形成自适应提示和限制性提示，然后优化它们各自文本嵌入之间的相似性来实现此重新定义。大量实验表明，<CreTok> 能够在无需额外训练的情况下，实现对多样概念的组合创意的通用且直接生成，以提升文本-图像对齐效果并获得更高的人类偏好评分，实现了最新的性能。代码将在 https://github.com/fu-feng/CreTok 上发布。