基于原位自监督微调的自监督目标导航
机器人学
2023-04-04 v2 机器学习
摘要
家用机器人应当能够在无需用户首先标注其家中所有物品的情况下导航至目标物体。当前大多数目标导航（ObjectNav）方法未在真实机器人上测试，且仅依赖于房屋重建扫描及其代价高昂的语义三维网格标注。在本工作中，我们的目标是构建一个通过探索建立世界自监督模型的智能体，如同儿童一般——因此我们（1）规避了标注三维网格的昂贵代价，且（2）实现了真实世界中的自监督原位微调。我们确定了强自监督来源（位置一致性，Location Consistency, LocCon），其可利用未标注的模拟房屋训练 ObjectNav 智能体的所有组件。我们的核心洞见是，具身智能体可将位置一致性作为自监督信号——从不同视角/角度采集图像并应用对比学习。我们表明，我们的智能体在真实世界与模拟中均可取得有竞争力的表现。我们的结果还表明，使用三维网格标注的监督训练导致模型学习到模拟伪影，其无法迁移至真实世界。相比之下，我们的 LocCon 在我们比较的模型集合中展现出最稳健的真实世界迁移能力，并且所有模型的真实世界性能都可通过自监督 LocCon 原位训练进一步提升。
引用
@article{arxiv.2212.05923,
title = {Self-Supervised Object Goal Navigation with In-Situ Finetuning},
author = {So Yeon Min and Yao-Hung Hubert Tsai and Wei Ding and Ali Farhadi and Ruslan Salakhutdinov and Yonatan Bisk and Jian Zhang},
journal= {arXiv preprint arXiv:2212.05923},
year = {2023}
}