探测与诱导视觉语言模型中的组合创造力
摘要
将现有概念组合成新想法的能力是人类智慧的基本标志。近期发展如 GPT-4V 和 DALLE-3 的视觉语言模型(VLM)，引发了关于其输出是否反映组合创造力——即由 Boden(1998) 定义为通过组合现有概念来合成新想法——还是训练数据的模式匹配，或 sophisticated pattern matching of training data。drawing inspiration from cognitive science，我们从 concept blending 的视角 investigate VLMs 的组合创造力。我们提出了 Identification-Explanation-Implication(IEI) 框架，将 creative process 分解为三个层次：identifying input spaces、extracting shared attributes、and deriving novel semantic implications。为 validate this framework，我们 curate CreativeMashup，一个包含 666 个按 IEI 框架注释的艺术家生成的视觉混搭数据集。通过 extensive experiments，我们证明在 comprehension tasks 中，best VLMs 的表现超过平均水平人类水平，但未达到专家水平；在 generation tasks 中，将我们的 IEI 框架整合到 generation pipeline 中显著提高了 VLMs 输出的 creative quality。我们的 findings 为评估人工智能创造力提供了理论基础，同时为 improving creative generation in VLMs 提供了实用指南。
引用
@article{arxiv.2504.13120,
title = {Probing and Inducing Combinational Creativity in Vision-Language Models},
author = {Yongqian Peng and Yuxi Ma and Mengmeng Wang and Yuxuan Wang and Yizhou Wang and Chi Zhang and Yixin Zhu and Zilong Zheng},
journal= {arXiv preprint arXiv:2504.13120},
year = {2025}
}
备注
Project page: https://ppyyqq.github.io/aicc/ The first two authors contribute equally