强化学习中面向自主水下导航的任务特定子网络发现

在动态、不可确定且感知受限的条件下，必须以可解释的方式适应多任务的自主水下车辆面临着诸多挑战，这些挑战传统控制器难以应对。这要求可靠、可泛化且本质上可解释的控制策略，以实现可靠的长期监测。强化学习，特别是多任务强化学习，克服了这些限制，利用共享表示实现跨任务和跨环境的高效适应。然而，尽管这些策略在仿真和受控实验中显示出有前景的成果，但它们仍然不透明，为智能体内部决策提供了有限的见解，导致透明度、信任和安全性之间的差距，阻碍了实际部署。内部策略结构和任务特定的专业化仍然不受良好理解。为此，我们分析了在 HoloOcean 模拟器中用于水下导航的预训练多任务强化学习网络的内部结构，通过识别和比较负责导航至不同物种的任务特定子网络。我们发现，在具有关联任务的情境多任务强化学习设置中，网络仅使用约 1.5% 的权重来区分任务。在这些权重中，约 85% 将输入层的情境变量节点连接到下一隐藏层，凸显了情境变量在此类设置中的重要性。我们的ethods 提供了关于共享和专业化网络组件的见解，有助于实现高效的模型编辑、迁移学习和持续学习，用于水下监控。