注意力还是记忆?时空中的神经可解释智能体

在神经科学中,注意力已被证明与强化学习(RL)过程双向交互。这种交互被认为支持任务表征的降维,将计算限制在相关特征上。然而,这些性质能否转化为人工智能体在动态环境中的真实算法优势仍不清楚。我们设计了一个融合自注意力机制的模型,该机制在语义特征空间中实现任务状态表征,并在一组 Atari 游戏上对其进行测试。为评估智能体的选择性,我们向观测中添加了大量任务无关特征。与神经科学预测一致,相较于基准模型,自注意力带来对噪声鲁棒性的提升。引人注目的是,该自注意力机制足够通用,可自然扩展以实现瞬时工作记忆,从而能够解决部分可观测迷宫任务。最后,我们强调了被注意刺激的预测性质。由于我们使用语义观测,我们不仅能揭示智能体选择基于哪些特征做决策,还能揭示它如何由更简单的特征编译出更复杂的关联特征。这些结果从形式上说明了注意力在深度 RL 中的益处,并为自注意力机制的可解释性提供了证据。