通过分解环境对复杂任务进行分阶段强化学习

强化学习（RL）因其在众多领域的显著应用而成为人工智能领域日益受关注的课题。尤其在智能车辆控制背景下，RL 取得了令人印象深刻的进展。然而，目前 RL 发挥其超越人类的全部潜力仍局限于模拟受控环境。尽管如何将对模拟经验应用于真实场景已有研究，如何将模拟问题近似为真实动态问题仍是一项挑战。在本文中，我们讨论两种将 RL 问题近似为真实问题的方法。在交通路口模拟背景下，我们证明，若能将复杂任务分解为多个子任务，先解决这些子任务有助于最小化复杂任务中灾难性事件的发生可能。从多智能体视角，我们引入一种训练结构化机制，利用在称为集中训练去中心化执行（CTDE）的流行范式下学到的经验。该经验随后可被用于完全去中心化设定中，后者在概念上更接近真实设定，其中智能体通常无法访问中心预言机，而必须被视为孤立的独立单元。结果表明，所提方法提升了智能体在交通路口相关复杂任务中的表现，最小化了这些场景中可能发生的潜在安全关键问题。尽管仍在模拟中，所研究情形在概念上更接近真实场景，因此，借助这些结果，我们意在推动该主题的进一步研究。