脑视觉解码的多粒度评估

现有的脑视觉解码评估协议主要依赖粗略的指标，这些指标掩盖了模型间的差异，缺乏神经科学的基础，无法捕捉细粒度的视觉区别。为此，我们引入了 BASIC，这是一个统一的、多粒度的评估框架，联合量化解码图像与真实图像之间的结构忠实度、推断一致性和情境连贯性。在结构层面，我们引入了一套基于分层分割的指标，包括前景、语义、实例和组件掩码，锚定于跨掩码结构的粒度感知对应。在语义层面，我们使用多模态大型语言模型提取结构化场景表示，包含对象、属性和关系，从而实现对真实刺激的详细、可扩展且富有情境的比较。我们在这个统一的评估框架中，对多样化的视觉解码方法进行基准测试，涵盖多个刺激-神经影像数据集。总体而言，这些标准为评估脑视觉解码方法提供了一个更具辨识度、可解释性和全面性的基础。