面向网络物理系统的持续强化学习：经验教训与开放挑战

持续学习（CL）是机器学习的一个分支，旨在使智能体能够适应和概括以前学习的能力，以便在新任务或环境中重新应用这些能力。这在多任务设置或非平稳环境中尤其有用，在这些环境中，动力学随时间变化。这在网络物理系统如自动驾驶中尤其相关。然而，尽管近期在 CL 方面取得了进展，但成功地将其应用于强化学习（RL）仍是一个开放问题。本文基于在自动驾驶环境中的实验，阐述了持续强化学习（CRL）中的开放挑战。在该环境中，智能体必须学习在四个不同场景中成功停车，这些场景对应于不同角度的停车位。代理依次在这四个场景中进行训练，代表一个 CL 环境，使用 Proximal Policy Optimisation（PPO）。这些实验暴露了 CRL 中的多个开放挑战：寻找环境的合适抽象、对超参数的过度敏感、灾难性遗忘以及高效利用神经网络容量。基于这些识别的挑战，我们提出了一些重要的开放研究问题，这些问题对于创建健壮的 CRL 系统至关重要。此外，所识别的挑战也对神经网络是否适合 CL 提出了质疑。我们还确定了特别是计算机科学与神经科学之间的跨学科研究的需求。