理解使用辅助损失预训练的具身智能体规划表示
机器人学
2023-12-19 v1 计算机视觉与模式识别
机器学习
摘要
来自大规模视觉模型的预训练表示提升了下游具身策略学习的性能。我们试图理解，在探索轨迹上进行额外的自监督预训练是否能在这些通用视觉表示的基础上，更好地支持在现实环境中的具身规划。我们评估了具身AI中四种常见的辅助损失、两种基于事后经验的损失以及一种标准模仿学习损失，通过使用每种目标预训练智能体的视觉压缩模块和状态信念表示，并以CLIP作为代表性视觉骨干。然后冻结学习到的表示，在两个目标导向任务上进行下游多步评估。令人惊讶的是，我们发现即使探索轨迹与下游任务不相似，在这些探索轨迹上的模仿学习也优于所有其他辅助损失。这表明探索的模仿可能是构建强大规划表示的“全部所需”。此外，我们发现流行的辅助损失可以通过简单的修改来改善其对下游规划能力的支持。
引用
@article{arxiv.2312.10069,
title = {Understanding Representations Pretrained with Auxiliary Losses for Embodied Agent Planning},
author = {Yuxuan Li and Luca Weihs},
journal= {arXiv preprint arXiv:2312.10069},
year = {2023}
}