重访作为策略的基于能量模型：排序噪声对比估计与插值能量模型
机器人学
2023-09-13 v1 机器学习
摘要
任何机器人学习流程的一个关键设计决策是策略表示的选择：应使用何种类型的模型来生成下一组机器人动作？由于许多机器人任务固有的多模态性质，加之近期生成式建模的成功，研究者已转向扩散模型等最先进的概率模型作为策略表示。在本工作中，我们重访将基于能量模型（EBM）作为策略类的选择。我们表明， prevailing folklore——高维连续空间中的能量模型训练不切实际——是错误的。我们为能量模型开发了一个实用的训练目标与算法，其结合了若干关键要素：(i) 排序噪声对比估计（R-NCE），(ii) 可学习的负采样器，以及 (iii) 非对抗联合训练。我们证明所提出的目标函数是渐近一致的，并量化了其极限方差。另一方面，我们表明隐式行为克隆（IBC）目标即使在总体层面实际上也是有偏的，为若干独立后续工作中 IBC 训练的能量策略表现不佳提供了数学解释。我们进一步扩展算法以学习桥接噪声与数据的连续随机过程，用由尺度变量索引的 EBM 族对该过程建模。在此过程中，我们证明近期生成式建模进展背后的核心思想实际上与 EBM 兼容。总之，我们提出的训练算法使我们能够将基于能量模型训练为策略，在若干具有挑战性的多模态基准——避障路径规划与富含接触的推块任务——中与扩散模型及其他最先进方法竞争甚至超越。
引用
@article{arxiv.2309.05803,
title = {Revisiting Energy Based Models as Policies: Ranking Noise Contrastive Estimation and Interpolating Energy Models},
author = {Sumeet Singh and Stephen Tu and Vikas Sindhwani},
journal= {arXiv preprint arXiv:2309.05803},
year = {2023}
}