可信 onboard AI：利用强化学习提升小卫星运营

开发了一种用于卫星 onboard 命令自动化的强化学习(Reinforcement Learning)算法。该工作聚焦于实现宏控制动作强化学习技术，即在 onboard 智能体获得基于实时信元数据的编译信息作为观察值的基础上，由智能体生成高层动作，如调整姿态指向太阳。这些动作随后被翻译为控制算法，通过低层指令执行。一旦对 onboard 智能体建立信任，即可利用实时环境信息实现更快的响应速度并减少对地面控制的依赖。该方法不仅专注于为特定卫星开发强化学习算法，也为将可信AI集成到 onboard 系统中树立了先例。该研究基于三项之前的工作：(1) 用于发布高层命令的强化学习算法，这些命令被翻译为可执行的低层指令；(2) 与实时运营系统相接口的AI推理模型部署，尤其是 onboard 航天器；(3) 构建信任的策略，特别是针对远程和自主应用。现有的卫星控制强化学习研究主要局限于仿真实验；本文通过为特定航天器构建数字孪生体并在该仿真环境中训练强化学习智能体以发布宏动作来量身定制这些技术。训练后，智能体的策略被复制到隔离环境中，输入关于卫星的编译信息以进行推理预测，从而在不授予其命令权限的情况下展示该算法在轨道上的有效性。这一过程使算法的预测结果能够与实际卫星行为进行安全比较，确保操作在预期参数内。