面向随机空间飞行任务序列设计的分层强化学习框架
机器学习
2025-08-27 v2 系统与控制
系统与控制
最优化与控制
摘要
本文开发了一种用于不确定性下多任务空间飞行战役设计的分层强化学习架构,包括飞行器设计、基础设施部署规划和空间运输调度。该问题涉及高维设计空间,尤其在存在不确定性的情况下具有挑战性。为应对这一挑战,所开发的框架具有由强化学习和基于网络的混合整数线性规划(MILP)组成的分层结构,其中前者优化战役级决策(例如,整个战役所用飞行器的设计、分配给战役中每个任务的目的地需求),而后者优化详细的任务级决策(例如,何时从何处向何处发射什么)。该框架以一组具有不确定原位资源利用性能的人类月球探索战役场景作为案例研究进行了应用。本工作的主要价值在于通过分层框架将快速增长的强化学习研究与现有的基于 MILP 的空间物流方法相集成,以处理否则难以处理的空间任务设计不确定性下的复杂性。这一独特框架有望成为人工智能用于空间任务设计这一新兴研究方向的 critical 垫脚石。
引用
@article{arxiv.2103.08981,
title = {Hierarchical Reinforcement Learning Framework for Stochastic Spaceflight Campaign Design},
author = {Yuji Takubo and Hao Chen and Koki Ho},
journal= {arXiv preprint arXiv:2103.08981},
year = {2025}
}
备注
A former version was presented at the AIAA ASCEND conference 2020