面向多感官感知的空间-联想神经网络表征交互建模探析

我们日常的感知体验由不同的神经机制驱动，这些机制产生多感官交互，作为外源刺激与内源预期之间的相互作用。尽管根据时空特性的多感官线索交互以及基于多感官特征的表征形成已被广泛研究，空间-联想神经表征的交互却鲜受关注。本文提出一种神经网络架构，建模空间-联想表征的交互以对视听刺激进行因果推断。我们研究由联想一致性调制的外源视听刺激的空间对齐。在空间层中，地形排列的网络以群体编码方式解释视听输入的交互。在联想层中，通过基于特征联想的经验驱动发展获得一致的视听表征。一致程度作为自组织网络神经动力学的副产品获得，其中输入触发的神经激活量可通过非线性距离函数表达。我们的新颖提议是：活动驱动的一致程度可用作对感官输入空间分布表征的自顶向下调制投射，例如语义相关的视听对将比不相关的对产生更高水平的整合。此外，单模态层中的神经响应水平可视为感官可靠性，用于跨模态线索的动态加权。我们描述了一系列计划中的实验，以基于语义一致性与单模态线索可靠性的多感官交互任务验证我们的模型。