层次化基元组合：多层级中动作维度不一致技能的同步激活

深度强化学习已在各类应用中展现出其有效性，为解决高度复杂任务提供了有前景的方向。然而，使用单一控制策略朴素地应用经典强化学习来学习复杂的长程任务效率低下。因此，策略模块化通过一组映射到基元并妥善编排的模块来解决该问题。在本研究中，我们进一步扩展讨论，引入技能的同步激活并以递归方式将其构建为多层级结构。此外，我们试图设计一种算法，通过乘性高斯分布妥善编排具有不同动作空间的技能，这极大提升了可复用性。利用模块化，若各技能已知，还可通过观察新任务中使用的模块来实现可解释性。我们通过使用 6 自由度机械臂解决抓取放置任务来展示所提方案的实际应用，并通过消融实验检验各项特性的影响。