面向自主多卫星对地观测的多智能体强化学习:一项现实案例研究
人工智能
2025-11-06 v2 多智能体系统
机器人学
摘要
低地球轨道(LEO)卫星的指数级增长彻底改变了地球观测(EO)任务,应对了气候监测、灾害管理等挑战。然而,多卫星系统中的自主协调仍是一个根本性挑战。传统优化方法难以应对动态EO任务的实时决策需求,因此必须使用强化学习(RL)和多智能体强化学习(MARL)。本文通过建模单卫星操作并利用MARL框架扩展到多卫星星座,研究了基于RL的自主EO任务规划。我们解决了关键挑战,包括能量和数据存储限制、卫星观测的不确定性,以及部分可观测下分散式协调的复杂性。通过利用近真实的卫星仿真环境,我们评估了最先进MARL算法(包括PPO、IPPO、MAPPO和HAPPO)的训练稳定性和性能。我们的结果表明,MARL能够有效平衡成像和资源管理,同时解决多卫星协调中的非平稳性和奖励相互依赖问题。本研究获得的见解为自主卫星操作奠定了基础,为改进分散式EO任务中的策略学习提供了实用指南。
引用
@article{arxiv.2506.15207,
title = {Multi-Agent Reinforcement Learning for Autonomous Multi-Satellite Earth Observation: A Realistic Case Study},
author = {Mohamad A. Hady and Siyi Hu and Mahardhika Pratama and Jimmy Cao and Ryszard Kowalczyk},
journal= {arXiv preprint arXiv:2506.15207},
year = {2025}
}