基于 Quality-Diversity 与无监督描述符的自主技能发现

Quality-Diversity 优化是一类新型优化算法，它不寻找解决单一任务的单个最优解，而是搜索大量以不同方式解决该任务的解集合。这种方法对于机器人学习行为库特别有前景，因为这种行为的多样性使机器人更加通用和具有弹性。然而，这些算法要求用户手动定义行为描述符，用于确定两个解是不同还是相似。行为描述符的选择至关重要，因为它完全改变了算法得出的解的类型。在本文中，我们通过将 Quality-Diversity 算法与无监督降维算法相结合，引入了一种自动定义该描述符的新方法。这种方法使机器人能够在与环境交互时自主发现其能力范围。两个实验场景的结果表明，机器人可以在没有任何关于其形态和环境先验知识的情况下，自主发现大范围的可能行为。此外，这些行为被认为与使用领域知识的手工解决方案相似，并且比使用现有无监督方法时显著更多样化。