学习打篮球：面向长时序篮球动作的策略组合

由于需要在技能之间实现无缝的策略组合与过渡，学习篮球动作等多阶段、长时序任务的控制策略对强化学习方法而言仍具挑战性。长时序任务通常由具有明确目标的不同子任务组成，这些子任务之间由目标不明确但对整个任务的成功至关重要的过渡性子任务分隔。现有方法如混合专家和技能链在处理以下任务时存在困难：各独立策略之间不共享大量共同探索的状态，或不同阶段之间缺乏明确定义的初始和终止状态。在本文中，我们引入了一种新颖的策略集成框架，以在中间状态定义不明确的多阶段长时序任务中实现截然不同的运动技能的组合。基于此，我们进一步引入了一个高层软路由器，以实现子任务之间无缝且稳健的过渡。我们在一组基本篮球技能和具有挑战性的过渡上评估了我们的框架。通过我们的方法训练的策略能够有效控制模拟角色与篮球交互，并根据实时用户指令完成长时序任务，且无需依赖篮球轨迹参考。