RARA：基于前景线索跟随的零样本仿真到真实视觉导航
计算机视觉与模式识别
2022-01-11 v1 机器学习
机器人学
摘要
仿真与真实世界之间的差距阻碍了许多计算机视觉与强化学习领域的机器学习突破在现实中的应用。在本工作中，我们针对基于相机的导航这一具体情形解决该差距，将其表述为在任意背景下跟随前景中的视觉线索。前景中的视觉线索通常可以逼真地仿真，例如线、门或锥体。挑战在于应对未知背景并将二者整合。因此，目标是在除该前景线索外于空仿真环境中捕获的数据上训练视觉智能体，并直接在视觉多样的真实世界中测试该模型。为弥合这一巨大差距，我们表明结合以下技术至关重要：前景与背景的随机增强、基于深度监督与三元组损失的正则化，以及通过使用航点而非直接速度指令对动力学进行抽象。各项技术在实验结果中从定性与定量两方面进行了消融，最终展示了从仿真到真实世界的成功迁移。
引用
@article{arxiv.2201.02798,
title = {RARA: Zero-shot Sim2Real Visual Navigation with Following Foreground Cues},
author = {Klaas Kelchtermans and Tinne Tuytelaars},
journal= {arXiv preprint arXiv:2201.02798},
year = {2022}
}
备注
7 pages, submitted to IROS, code: github.com/kkelchte/fgbg