基于脑启发的深度网络以提高动作分类

动作识别也是机器人和健康监测等应用的关键。动作信息可以从身体姿态和运动，以及背景场景中提取。然而，深度神经网络 (DNN) 如何充分利用身体信息和背景信息，尚不明确。由于这两种信息来源在训练数据集中可能相关，DNN 可能主要依赖其中一种信息，而未充分发挥另一种信息的作用。与 DNN 不同，人类拥有针对感知身体和感知场景各自选择的脑区。本研究测试了人类是否因此在从两种信息源中更有效地提取信息，以及构建基于脑中特异性的深度网络架构，是否具有针对身体和场景感知的独立流，能否赋予其更类似人类的性能。我们首先证明，使用 HAA500 数据集训练的 DNN 在显示两者的刺激版本上几乎与在移除身体的版本相同的准确率，但在移除背景的版本上表现停留在随机水平。相反，人类参与者 (N=28) 可以准确地识别同一组动作的所有三个版本的刺激，并且在仅显示身体的版本上显著优于仅显示背景的版本。最后，我们实现并测试了一种新型架构，依据脑中特异性原则，拥有独立的流处理身体和背景信息。我们显示：1) 该架构提高了动作识别性能；2) 其在不同版本刺激上的准确率模式更 closely 匹配人类参与者所观察到的准确率模式。