稀疏成分区分视觉通路及其与神经网络的对齐
机器学习
2025-10-13 v1 计算机视觉与模式识别
摘要
高层人类视觉皮层中的腹侧、背侧和外侧通路参与不同的功能过程。然而，在单一任务上训练的深度神经网络（DNN）惊人地很好地建模了整个视觉系统，暗示这些通路之间存在共同的计算原理。为探索这一不一致性，我们采用了一种新颖的稀疏分解方法来识别每条通路中视觉表示的主导成分。与传统神经科学研究一致，我们发现三条视觉通路之间存在明显的成分响应差异——在腹侧通路中识别出对面孔、地点、身体、文本和食物有选择性的成分；在外侧通路中识别出对社交互动、隐含运动和手部动作有选择性的成分；以及在背侧通路中一些可解释性较低的成分。在此基础上，我们提出了稀疏成分对齐（Sparse Component Alignment, SCA），这是一种新的测量大脑与机器之间表示对齐的方法，能够更好地捕捉这两个视觉系统的潜在神经调谐。使用 SCA，我们发现标准视觉 DNN 与腹侧表示的对齐程度高于背侧或外侧表示。SCA 以比传统群体级几何更高的分辨率揭示这些差异，提供了一种对系统底层神经调谐轴敏感的表示对齐度量。
引用
@article{arxiv.2510.08858,
title = {Sparse components distinguish visual pathways & their alignment to neural networks},
author = {Ammar I Marvi and Nancy G Kanwisher and Meenakshi Khosla},
journal= {arXiv preprint arXiv:2510.08858},
year = {2025}
}