基于深度强化学习的可扩展多智能体航天器检查
系统与控制
2024-12-17 v1 系统与控制
摘要
随着轨道上航天器数量的持续增长，人类操作员管理每项任务的难度日益增加。因此，亟需发展自主控制方法以减轻操作员的负担。其中一种自主控制方法是强化学习（Reinforcement Learning, RL），其在多种复杂任务中已取得显著成功。对于多控制航天器（即智能体）的任务，智能体之间必须进行通信并彼此了解彼此的情况，这些信息通常作为输入观测传递给神经网络控制器（Neural Network Controller, NNC）。当任务使用的航天器数量增加或减少时，本文发展了一种可扩展的观测空间，该空间使用固定大小的观测来提供其他所有智能体的信息。该方法类似于激光雷达传感器，用于确定环境中其他物体的距离。本文将该观测空间应用于航天器检查任务中，使用强化学习训练多个副驾驶航天器以协作检查被动首领航天器。预计，通过该可扩展观测空间，智能体能够更高效地学习完成任务，相较于基线方案（即智能体之间无信息通信）将表现更佳。
引用
@article{arxiv.2412.10530,
title = {Deep Reinforcement Learning for Scalable Multiagent Spacecraft Inspection},
author = {Kyle Dunlap and Nathaniel Hamilton and Kerianne L. Hobbs},
journal= {arXiv preprint arXiv:2412.10530},
year = {2024}
}