大型语言模型估计精细的人类颜色-概念关联

概念，无论是抽象的还是具体的，都会在感知颜色空间上引发关联强度的分布，这影响着从物体识别到信息可视化解读等视觉认知的各个方面。虽然先前的研究假设颜色-概念关联可能是从经验的跨模态统计结构中学习到的，但尚不清楚自然环境是否具有这种结构，或者即使有，学习系统是否能够在没有强先验约束的情况下发现并利用它。我们通过研究多模态大型语言模型GPT-4在无需任何额外训练的情况下估计类似人类的颜色-概念关联的能力，来解决这些问题。从涵盖感知颜色空间(\texttt{UW-71})的71种颜色集和抽象程度不同的概念的人类颜色-概念关联评分开始，我们评估了GPT-4生成的关联评分预测人类评分的程度。GPT-4的评分与人类评分相关，其性能可与从图像自动估计颜色-概念关联的最先进方法相媲美。GPT-4在不同概念上的性能差异可以通过该概念的颜色-概念关联分布的特异性来解释。这项研究表明，语言与感知之间的高阶协方差（如互联网自然环境中所示）包含了足够的信息来支持学习类似人类的颜色-概念关联，并提供了一个存在性证明，即学习系统可以在没有初始约束的情况下编码此类关联。该工作进一步表明，GPT-4可用于有效估计广泛概念的颜色关联分布，有可能成为设计有效且直观的信息可视化的关键工具。