双流神经网络解释人脑背侧与腹侧视觉通路的功能分离
计算机视觉与模式识别
2023-11-21 v2
摘要
人类视觉系统使用两条并行通路分别进行空间加工与物体识别。相比之下，计算机视觉系统往往使用单一前馈通路，使其在鲁棒性、适应性或效率上不如人类视觉。为弥合这一差距，我们受人类眼睛与大脑启发开发了双流视觉模型。在输入层面，该模型采样两种互补视觉模式，以模拟人眼如何利用大细胞与小细胞视网膜神经节细胞将视网膜输入分离至大脑。在后端，模型通过两支卷积神经网络 (CNN) 分支处理分离的输入模式，以模拟人脑如何利用背侧与腹侧皮层通路进行并行视觉加工。第一支分支 (WhereCNN) 采样全局视图以学习空间注意力并控制眼动。第二支分支 (WhatCNN) 采样局部视图以表征注视点周围的物体。随着时间推移，两支分支循环交互，从移动注视中构建场景表征。我们将该模型与处理同一电影的人脑进行比较，并通过线性变换评估其功能对齐。研究发现 WhereCNN 与 WhatCNN 分支分别差异性地匹配视皮层的背侧与腹侧通路，主要源于其不同的学习目标。这些基于模型的结果使我们推测，腹侧与背侧流的不同响应与表征更多受其视觉注意力与物体识别中不同目标的驱动，而非其对视网膜输入的特定偏置或选择性。该双流模型在类脑计算机视觉方面更进一步，使并行神经网络能够主动探索并理解视觉环境。
引用
@article{arxiv.2310.13849,
title = {A Dual-Stream Neural Network Explains the Functional Segregation of Dorsal and Ventral Visual Pathways in Human Brains},
author = {Minkyu Choi and Kuan Han and Xiaokai Wang and Yizhen Zhang and Zhongming Liu},
journal= {arXiv preprint arXiv:2310.13849},
year = {2023}
}