一种用于具身智能体的通用监督信号
计算机视觉与模式识别
2022-12-05 v1 人工智能
摘要
训练有效的具身 AI 智能体通常涉及人工奖励工程、专家模仿、诸如地图之类的专用组件，或利用额外传感器进行深度感知与定位。另一种方法是使用神经架构配合自监督目标以鼓励更好的表征学习。在实践中，很少能保证这些自监督目标编码了任务相关信息。我们提出了场景图对比（SGC）损失，其将场景图用作通用、仅训练期、监督信号。SGC 损失摒弃了显式图解码，转而使用对比学习将智能体的表征与其环境的丰富图编码对齐。SGC 损失普遍适用、易于实现，并鼓励编码物体语义、关系与历史的表征。使用 SGC 损失，我们在三项具身任务上取得显著提升：物体导航、多物体导航与机械臂点导航。最后，我们展示的研究与分析表明，我们所训练表征能够编码关于环境的语义线索。
引用
@article{arxiv.2212.01186,
title = {A General Purpose Supervisory Signal for Embodied Agents},
author = {Kunal Pratap Singh and Jordi Salvador and Luca Weihs and Aniruddha Kembhavi},
journal= {arXiv preprint arXiv:2212.01186},
year = {2022}
}