面向信息丰富的仿真到现实适应的神经保真度校准

深度强化学习可以无缝地将敏捷运动和导航技能从模拟环境转移到真实世界。然而，利用域随机化或对抗方法桥接仿真到现实的差距，往往需要专家物理知识来确保策略的鲁棒性。即便如此，最先进的仿真器也可能不足以捕捉每一个真实世界细节，重构的环境可能因各种感知不确定性而引入误差。 为了应对这些挑战，我们提出神经保真度校准 (NFC)，一种新型框架，采用条件得分基于扩散的模型在机器人执行期间对仿真物理系数和残差保真域进行在线校准。 具体而言，残差保真度反映了相对于真实世界动态的仿真模型偏移，并捕捉感知环境的不确定性，从而 enable 我们对在推断分布下进行真实环境采样，以进行策略微调。我们的框架在三个关键方面具有信息丰富和自适应特性： (a) 我们仅在异常情形下对预训练策略进行微调， (b) 我们基于预训练NFC的提议先验构建顺序NFC在线，减少扩散模型的训练负担， (c) 当NFC不确定性较高可能降低策略改进时，我们利用乐观探索来 enable 幻觉策略优化。我们的框架在多样化机器人上实现了优于最先进方法的仿真校准精度，参数空间高度维度。 我们研究残差保真度对仿真和真实世界实验中的策略改进的关键贡献。 值得注意的是，我们的方法在面临挑战的真实世界条件下实现了稳健的机器人导航，例如在雪地路面上破损的轮子轴。