面向数据高效直接策略搜索的自动先验选择贝叶斯优化

用于直接策略搜索的贝叶斯优化最有趣的特性之一是，它可以利用先验（例如，来自仿真或来自先前的任务）来加速机器人的学习。在本文中，我们对存在多个先验但事先不知道哪个先验最适合当前情况的场景感兴趣。我们通过引入一种新颖的采集函数来解决这个问题，该函数称为最可能期望改进（MLEI），它结合了先验的似然性和期望改进。我们在一个 5 自由度平面机械臂的迁移学习任务中，以及在一个可能受损的、必须在平地和楼梯上行走的 6 足机器人上评估了这种新的采集函数，其中先验对应于不同的楼梯和不同类型的损坏。我们的结果表明，即使当前情况与先验之间没有明显的匹配，MLEI 也能有效地识别并利用先验。