利用局部观测实现鲁棒机器人学习

尽管许多机器人任务可使用具有全状态观测的集中式单智能体控制或分散式多智能体控制来解决，但选择这两种方法的明确准则仍未被充分探索。本文系统研究相较于传统集中式控制，具有局部观测的多智能体强化学习（MARL）如何提升复杂机器人系统的鲁棒性。通过理论分析与经验验证，我们表明在某些任务中，分散式 MARL 可达到与集中式方法相当的性能，同时对扰动与智能体故障表现出更强韧性。通过解析证明在全可观测下单体强化学习（SARL）与 MARL 的等价性，我们确定可观测性为区分这两种范式的关键因素。我们进一步推导出局部可观测策略在外部扰动下性能退化的界。在标准 MARL 基准上的经验结果证实，具有有限观测的 MARL 可保持有竞争力的性能。最后，移动机械臂的实物实验表明，相较于集中式基线，分散式 MARL 控制器对智能体故障与环境干扰的鲁棒性显著提升。综上，这些发现凸显了在复杂机器人系统中，具有局部观测的 MARL 是传统集中式控制的一种鲁棒且实用的替代方案。