选择性粒子注意力：深度强化学习中基于视觉特征的注意力
神经元与认知
2020-08-31 v1 计算机视觉与模式识别
机器学习
神经与进化计算
摘要
人脑使用选择性注意力来过滤感知输入，从而仅用其有限的计算资源处理对行为有用的成分。我们关注一种称为基于特征的注意力的特定视觉注意力形式，它致力于识别对当前任务重要的视觉输入特征，而不管其空间位置。基于视觉特征的注意力已被提出通过降低状态表示的维数并引导学习朝向相关特征，来提高强化学习（RL）的效率。尽管深度 RL 算法在复杂感知-运动任务中达到了人类水平表现，但其效率低和缺乏灵活性一直受到批评。因此，基于视觉特征的注意力代表了解决这些批评的一种选项。然而，大脑如何在 RL 期间学会注意哪些特征仍是一个开放问题。为帮助回答该问题，我们提出了一种称为选择性粒子注意力（SPA）的新算法，它赋予深度 RL 智能体执行选择性基于特征的注意力的能力。SPA 根据自下而上的显著性和它们预测未来奖励的准确程度，学习注意哪些特征组合。我们在一个多项选择题任务和一个涉及原始像素输入及任务结构动态变化的 2D 视频游戏上评估 SPA。我们展示了 SPA 相对于朴素地注意所有特征或随机特征子集的方法的多种优势。我们的结果表明：（1）深度 RL 模型中基于视觉特征的注意力如何提高其学习效率和应对任务结构突变的能力；（2）粒子滤波器可能代表大脑中基于视觉特征的注意力如何发生的一种可行计算解释。
引用
@article{arxiv.2008.11491,
title = {Selective Particle Attention: Visual Feature-Based Attention in Deep Reinforcement Learning},
author = {Sam Blakeman and Denis Mareschal},
journal= {arXiv preprint arXiv:2008.11491},
year = {2020}
}