利用仿真提升双足机器人贝叶斯优化的样本效率

用于控制的学习可获取新颖机器人任务的控制器，为自主智能体铺平道路。此类控制器可以是专家设计的策略，通常需针对每个任务场景进行参数调优。在此背景下，贝叶斯优化 (BO) 已成为自动调优控制器的一种有前景的方法。然而，当在高维策略的硬件上执行 BO 时，样本效率可能成为问题。在此，我们开发了一种利用仿真将原始参数空间映射至领域信息空间的方法。在 BO 期间，控制器间的相似性现于该变换空间中计算。在 ATRIAS 机器人硬件与另一双足机器人仿真上的实验表明，我们的方法成功地以高样本效率为多个机器人学习控制器。另一问题随之而来：若仿真与硬件显著不同会怎样？为回答此问题，我们构建了愈发近似的仿真器，并研究了仿真–硬件失配程度递增对贝叶斯优化性能的影响。我们还将我们的方法与文献中其他方法比较，发现其更为可靠，尤其在高度失配的情形下。我们的实验表明，我们的方法在不同控制器类型、双足机器人模型与仿真保真度级别上均取得成功，使其可适用于广泛的双足运动问题。