评估视觉语言模型在照片写实场景中对颜色幻觉的感知
计算机视觉与模式识别
2024-12-10 v1
摘要
本文研究了视觉语言模型对颜色幻觉的感知。颜色幻觉指的是人类视觉系统对颜色的感知与实际颜色不同，这在人类视觉中已为人所熟知。然而，是否存在视觉语言模型（VLM）在面对此类颜色幻觉时 exhibit类似的人类感知偏见仍值得探索。我们提出了一个自动化的颜色幻觉图像生成框架，构建了RCID（Realistic Color Illusion Dataset）数据集，包含19,000张真实幻觉图像。我们的实验表明，所有研究的VLM都 exhibit类似人类视觉的感知偏见。最后，我们训练了一个模型来区分人类感知与实际像素差异。
引用
@article{arxiv.2412.06184,
title = {Evaluating Model Perception of Color Illusions in Photorealistic Scenes},
author = {Lingjun Mao and Zineng Tang and Alane Suhr},
journal= {arXiv preprint arXiv:2412.06184},
year = {2024}
}