在大脑中寻找共享可解概念及其否定形式

先前的研究提供了功能局部化的证据；大脑中不同解剖区域优先激活特定类型的视觉输入。例如，fusiform face area（面部面积）优先激活包含面孔的视觉刺激。然而，视觉语义的谱系广泛，仅有少数语义调谐的皮层区域被识别在人类大脑中。我们使用一种多模态（自然语言和图像）神经网络架构（CLIP）训练一个高度精确的对比模型，将自然图像观看期间的大脑反应映射到 CLIP 嵌入空间。我们 then 使用一种 novel DBSCAN 聚类算法的 adaptation 来聚类这些 participant-specific 对比模型的参数。这揭示了我们所称的共享可解概念（Shared Decodable Concepts, SDCs）：来自多个 participant 共同解码的 CLIP 空间中的簇。通过检查与每个 SDC 簇最相关且最不相关的图像，我们获得对每个 SDCs 语义属性的额外见解。我们注意到对先前报告的视觉特征（例如早期视觉皮层中的方向调谐）以及视觉语义概念（如面孔、地点和身体）的 SDCs。当我们的方法发现某一视觉语义概念的多个簇时，最不相关的图像允许我们在消除混淆因素方面获得洞察。例如，我们发现两类食物图像，其中一类由颜色驱动，另一类由形状驱动。我们还发现了此前未报道的区域，例如 extrastriate body area（EBA）中针对腿/手的调谐区域，以及右侧颞下沉处对数感受性。因此，我们的对比学习方法通过利用多模态神经网络表征和 novel clustering 算法的 adaptation，更好地表征了大脑中新的和现有的视觉语义表征。