迈向持续强化学习：综述与展望

在本文中，我们旨在对持续强化学习（RL）（也称为终身RL或非平稳RL）的不同表述与方法进行文献综述。我们首先从我们的视角讨论为何RL是研究持续学习的天然契合点。然后，我们通过数学刻画非平稳性的两个关键属性（即范围和驱动者非平稳性）对不同的持续RL表述进行分类，这提供了对各种表述的统一视角。接下来，我们回顾并给出了持续RL方法的分类。我们继续讨论持续RL智能体的评估，概述文献中使用的基准以及理解智能体性能的重要指标。最后，我们强调了在缩小当前持续RL状态与神经科学发现之间差距方面的开放问题与挑战。尽管仍处于早期阶段，持续RL的研究有望开发出更好的增量强化学习器，能够在非平稳性起重要作用的日益现实的应用中发挥作用。这些应用包括医疗、教育、物流和机器人等领域的应用。