Phone2Proc：将鲁棒机器人带入我们的混沌世界
机器人学
2022-12-12 v1 人工智能
计算机视觉与模式识别
摘要
在仿真中训练具身智能体已成为具身 AI 社区的主流做法。然而，这些智能体在部署到物理世界时往往表现不佳，因为它们无法泛化到真实环境。本文中，我们提出 Phone2Proc，一种利用 10 分钟手机扫描与条件式程序化生成来创建与目标环境语义相似的训练场景分布的方法。所生成场景以扫描得到的墙体布局和大型物体摆放为条件，同时对光照、杂物、表面纹理以及具有随机化放置和材质的小型物体实例进行采样。仅借助一个简单的 RGB 相机，使用 Phone2Proc 训练在涵盖家庭、办公室和 RoboTHOR 等多样真实环境中超过 200 次试验的测试套件上，将 sim-to-real 物体导航（ObjectNav）成功率从 34.7% 大幅提升至 70.7%。此外，Phone2Proc 所生成的多样场景分布使智能体对真实世界中的变化（如人体移动、物体重排、光照变化或杂物）具有显著的鲁棒性。
引用
@article{arxiv.2212.04819,
title = {Phone2Proc: Bringing Robust Robots Into Our Chaotic World},
author = {Matt Deitke and Rose Hendrix and Luca Weihs and Ali Farhadi and Kiana Ehsani and Aniruddha Kembhavi},
journal= {arXiv preprint arXiv:2212.04819},
year = {2022}
}
备注
https://allenai.org/project/phone2proc