在受脑启发的深度神经网络中学习注意力机制

近期的机器学习模型表明，将注意力作为组件纳入可提升模型精度与可解释性，尽管这些方法中注意力的概念仅松散近似于大脑的注意力机制。在此我们拓展该工作，构建了一个更受脑启发的灵长类 ATTention 网络（ATTNet）深度网络模型，其学习转移注意力以最大化奖励。利用深度强化学习，ATTNet 学会了在搜索任务背景下将注意力转移到目标类别的视觉特征上。ATTNet 的背侧层也学会优先处理这些注意力转移，以最大化腹侧通路分类的成功率并获得更大奖励。模型行为针对受试者在图像中搜索相同提示类别时的注视点进行了测试。受试者与 ATTNet 均表现出注意力被优先导向目标目标的证据，其行为上表现为对目标的动眼引导。更根本地，ATTNet 学会了将注意力转移到类目标物体上，并空间路由其视觉输入以完成任务。该工作向更好理解注意力在大脑与其他计算系统中的作用迈出了一步。