通过自动生成多样化任务发现可泛化技能

智能体利用一组有用的技能可极大提升学习效率与泛化能力。然而，由于需要大量的精力与专业知识，机器人技能的设计在真实世界应用中往往难以处理。本工作中，我们提出技能多样化环境学习（SLIDE），一种通过自动生成多样化任务集来发现可泛化技能的方法。与先前在无监督技能发现中激励技能在同一环境中产生不同结果的工作不同，我们的方法将每个技能与由可训练任务生成器产生的独特任务配对。为促使可泛化技能涌现，我们的方法训练每个技能专用于配对任务，并最大化所生成任务的多样性。定义在生成任务中机器人行为上的任务判别器被联合训练以估计多样性目标的证据下界。所学技能随后可在分层强化学习算法中组合以解决未见目标任务。我们展示了所提方法可在两个桌面操作领域中有效学习多种机器人技能。结果表明，与现有强化学习和技能学习方法相比，所学技能能有效提升机器人在各种未见目标任务中的表现。