解码抽象艺术中的情感：CLIP 在识别色彩-情感关联上的认知合理性

本研究探讨了预训练多模态模型 CLIP 在识别抽象视觉艺术所唤起的情感方面的认知合理性。我们采用了一个包含图像、关联的情感标签以及由人类标注者提供的这些标签的文本理由的数据集。我们对理由进行了语言分析，对图像和理由进行了零样本情感分类，应用了基于相似性的情感预测，并研究了颜色-情感关联。CLIP 在识别抽象图像和理由的情感方面准确率相对较低，但高于基线，这表明 CLIP 解码情感复杂性的方式与人类认知过程并不完全一致。此外，我们探索了图像和理由中的颜色-情感交互。在人类和 CLIP 标注了情感标签的图像和文本中，都识别出了预期的颜色-情感关联，例如红色与愤怒相关，且 CLIP 显示出更强的交互作用。我们的结果突显了人类处理与机器处理在连接图像特征和情感时的差异。