基于区域间内连通性的动态神经编码

大量文献将大脑中生物神经元的记录与深度神经网络进行了比较。这种比较分析旨在推进和解释深度神经网络，并增强我们对生物神经系统的理解。然而，先前的工作未考虑时间维度，也未在大规模比较中探讨深度网络中视频和动态编码与生物神经系统的关系。为此，我们提出了首个大规模研究，利用视频刺激比较视频理解模型与视觉皮层记录。该研究涵盖了超过两百万次回归拟合，考察了图像与视频理解、基于卷积与基于 Transformer 以及全监督与自监督模型。此外，我们提出了一种新颖的神经编码方案以更好地编码生物神经系统。我们提供了关于视频理解模型如何预测视觉皮层响应的关键见解：显示视频理解模型优于图像理解模型；除多尺度 Transformer 外，卷积模型在视觉皮层早中期区域的表现优于基于 Transformer 的模型；双流模型优于单流模型。进一步地，我们提出了一种建立在表现最佳的视频理解模型之上的新颖神经编码方案，同时融合了跨越视觉皮层的区域间内连通性。我们的神经编码利用来自视频刺激的编码动态，通过使用双流网络和多尺度 Transformer，同时考虑连通性先验。结果表明，合并区域间和区域内连通性先验比单独使用任一先验或不使用连通性先验均能提高编码性能。结果还表明，编码动态对于充分利用此类连通性先验是必要的。