机器人中的神经场：综述
机器人学
2024-10-29 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
神经场（Neural Fields）已然成为计算机视觉和机器人领域中用于3D场景表示的变革性方法，使我们能够从已知2D数据中准确推断几何、3D语义和动态。通过可微分渲染，神经场包含连续的隐式和显式神经表征，使我们能够实现高保真度的3D重建、整合多模态传感器数据以及生成新视角。本综述探讨了神经场在机器人中的应用，强调其潜在的提升感知、规划和控制能力。其紧凑性、内存效率和可微分性，以及与基础模型和生成模型的无缝集成，使其成为实时应用的理想选择，提高了机器人的适应性和决策能力。本文提供了关于机器人中神经场的全面回顾，将应用划分为各个领域，并评估了其优势和局限性，基于超过200篇论文。首先，我们呈现四个关键的神经场框架：占据网络（Occupancy Networks）、符号距离场（Signed Distance Fields）、神经辐射场（Neural Radiance Fields）和高斯溅写（Gaussian Splatting）。其次，我们详细阐述神经场在机器人领域的五个主要应用领域：姿态估计、操纵、导航、物理和自动驾驶，突出显示关键作品并讨论启发因素和开放挑战。最后，我们概述了神经场在机器人中的当前局限性，并提出了未来研究的有前景的方向。项目页面：https://robonerf.github.io
引用
@article{arxiv.2410.20220,
title = {Neural Fields in Robotics: A Survey},
author = {Muhammad Zubair Irshad and Mauro Comi and Yen-Chen Lin and Nick Heppert and Abhinav Valada and Rares Ambrus and Zsolt Kira and Jonathan Tremblay},
journal= {arXiv preprint arXiv:2410.20220},
year = {2024}
}
备注
20 pages, 20 figures. Project Page: https://robonerf.github.io