语义相关性指标在人类视觉处理中的作用

语义相关性指标可以捕捉单个物体固有的语义以及其与视觉场景中其他元素之间的关系。大量先前的研究表明，这些指标可以影响人类的视觉处理。然而，这些研究往往未充分考虑情境信息或采用最新的深度学习模型进行更精确的计算。本研究通过引入情境语义相关性指标来探讨人类的视觉感知和处理。我们从视觉和语言两个角度评估目标物体与其周围环境之间的语义关系。测试来自视觉理解的大型眼动数据集，我们采用最先进的深度学习技术计算这些指标，并通过高级统计模型分析其对人类视觉处理中注视措施的影响。这些指标还可以模拟视觉感知中的自上而下和自下而上处理。本研究进一步将视觉和语言指标整合为一种新型组合指标，弥补了以往研究常将视觉相似性和语义相似性分别对待的关键缺口。结果表明，所有指标都能精确预测视觉感知和处理中的注视措施，但在预测中发挥着不同作用。组合指标的性能优于其他指标，支持强调语义信息与视觉信息在塑造视觉感知/处理方面的相互作用的理论。该发现与日益广泛认识到多模态信息处理在人类认知中的重要性相一致。这些见解增进了我们对视觉处理背后认知机制的理解，并对开发更精确的计算模型具有启示，这些模型适用于认知科学和人机交互等领域。