基于空间世界模型的跟踪与规划
机器学习
2022-01-26 v1
摘要
我们引入一种利用可微分渲染世界模型进行实时导航与跟踪的方法。学习用于控制的模型已在机器人与计算机游戏中取得令人印象深刻的成果，但这一成功尚待扩展到基于视觉的导航。为此，我们将新兴可微分渲染领域的进展迁移至基于模型的控制。具体做法为：在学习的 3D 空间世界模型中规划，并结合一种曾用于 TSDF 融合的位姿估计算法，现将其适配于我们的设定并改进以纳入智能体动力学。我们在基于复杂人工设计平面图的六个仿真环境中评估并提供定量结果。仅在随机、连续动力学下使用图像与深度观测，我们以 15 Hz 频率取得高达 92% 的导航成功率。
引用
@article{arxiv.2201.10335,
title = {Tracking and Planning with Spatial World Models},
author = {Baris Kayalibay and Atanas Mirchev and Patrick van der Smagt and Justin Bayer},
journal= {arXiv preprint arXiv:2201.10335},
year = {2022}
}