标注运动基元以简化强化学习中的动作搜索

由于在特定情境下可能采取的动作众多，在大规模环境中进行强化学习具有挑战性。我们此前开发了一种利用运动基元来约束并从而加速搜索过程的方法；运动基元是在一系列状态上执行的预指定动作序列。作为该工作的副产品，我们发现如果对运动基元的运动和动作进行标注，则搜索可进一步加速。由于运动基元最初可能缺乏此类细节，我们提出了一种理论上视角无关且速度无关的自动标注底层运动和动作的方法。我们通过一种微分几何的时空运动学描述子来实现这一点，该描述子分析两个运动序列中实体的姿态如何随时间变化。我们将该描述子与加权最近邻分类器结合，使用有限的训练样本集来标注基元。在我们的实验中，对于源自人类动作的基元，仅使用一个训练样本即实现了较高的运动和动作标注率。我们还证明，与使用准确标注轨迹的强化学习相比，标准强化学习技术更慢地得到高性能策略。这部分是因为运动基元编码了先验领域知识并避免了在训练中重新发现该知识的需求。也因为智能体可利用标签系统性地忽略无助于任务目标的动作类别，从而缩减动作空间。