探究选择对空间控制深度强化学习的影响
机器学习
2024-05-22 v1 系统与控制
系统与控制
摘要
对于许多空间应用，传统控制方法通常用于操作中。然而，随着空间资产数量的持续增长，自主操作可以实现针对不同空间相关任务的控制方法的快速开发。开发自主控制的一种方法是强化学习，它在许多复杂任务中展现出有希望的性能和成功之后变得越来越流行。虽然强化学习智能体通常学习有界连续控制值，但这对于许多传统上偏好开关式控制的空间任务来说可能不现实或不实用。本文分析了使用离散动作空间的情况，其中智能体必须从预定义的动作列表中选择。实验探讨了提供给智能体的选择数量如何影响它们在训练期间和训练后的测量性能。该分析针对一个检查任务（智能体必须绕行一个物体以检查其表面上的点）和一个对接任务（智能体必须移动到另一航天器附近并以较低相对速度“对接”）进行。两个任务以及大多数空间任务的共同目标是最大限度地减少燃料消耗，这促使智能体定期选择不使用燃料的动作。我们的结果表明，对于检查任务，有限数量的离散选择导致最佳性能，而对于对接任务，连续控制导致最佳性能。
引用
@article{arxiv.2405.12355,
title = {Investigating the Impact of Choice on Deep Reinforcement Learning for Space Controls},
author = {Nathaniel Hamilton and Kyle Dunlap and Kerianne L. Hobbs},
journal= {arXiv preprint arXiv:2405.12355},
year = {2024}
}