利用可组合对象 NeRF 缩小视觉 Sim-to-Real 差距
机器人学
2024-03-08 v1 计算机视觉与模式识别
机器学习
摘要
深度学习方法是许多机器人系统感知的基石。尽管其具有令人印象深刻的性能潜力，但获取真实世界训练数据成本高昂，且对于某些任务而言可能极不切实际。带有域随机化的 Sim-to-Real 迁移提供了一种潜在的解决方案，但通常需要大量的手动调整，并且导致模型对仿真与真实之间的分布偏移非常脆弱。在本工作中，我们引入了可组合对象体积 NeRF（COV-NeRF），这是一种可组合对象的 NeRF 模型，它是针对真实世界场景和对象合成训练数据的 Real-to-Sim 流程的核心。COV-NeRF 从真实图像中提取对象并将其组合到新场景中，生成照片级逼真的渲染图以及多种类型的 2D 和 3D 监督信号，包括深度图、分割掩码和网格。我们表明，COV-NeRF 的渲染质量与现代 NeRF 方法相当，并可用于迅速缩小各种感知模态下的 Sim-to-Real 差距。
引用
@article{arxiv.2403.04114,
title = {Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs},
author = {Nikhil Mishra and Maximilian Sieb and Pieter Abbeel and Xi Chen},
journal= {arXiv preprint arXiv:2403.04114},
year = {2024}
}
备注
ICRA 2024