基于对象中心注意力的深度强化学习

深度强化学习智能体在原始像素输入上进行训练时，往往无法在训练环境之外获得良好泛化，依赖于虚假关联和无关的背景细节。为了解决这一问题，最近涌现出基于对象的智能体。然而，这些智能体需要针对任务规范而设计的不同表示。与深度智能体相反，没有单一的基于对象的架构可以被应用于任何环境。受认知科学原理和奥巴马的锐角原则启发，我们引入了基于遮罩的对象中心注意力(OCCAM)， selectively 保留任务相关实体同时过滤无关的视觉信息。具体而言，OCCAM利用了基于对象的归纳偏好。在Atari基准测试上的经验评估表明，OCCAM显著提高了对新颖扰动的鲁棒性，同时在样本复杂度上有所降低，表现出与常规像素基RL相当或更好的性能。这些结果表明，结构化抽象可以在不要求显式符号表示或特定于域的对象提取管道的情况下增强泛化能力。