NeRF 监督：从神经辐射场学习稠密物体描述子
机器人学
2022-04-28 v2 计算机视觉与模式识别
摘要
叉子、打蛋器之类轻薄、反光物体在日常生活中十分常见，但它们对机器人感知尤为困难，因为难以用普通 RGB-D 相机或多视立体技术重建。当传统流程在这些物体上受挫时，神经辐射场（NeRFs）近来被证明对具有薄结构或反光材质的物体执行视图合成异常有效。本文探索将 NeRF 用作鲁棒机器人视觉系统的新监督来源。具体而言，我们展示场景的 NeRF 表示可用于训练稠密物体描述子。我们利用优化后的 NeRF 提取物体多视图间的稠密对应，并将这些对应作为训练数据来学习物体的视图不变表示。NeRF 对密度场的运用使我们能以一种新颖的“深度分布”形式重构对应问题，而非传统的深度图方法。用我们的方法监督的稠密对应模型以 106%（PCK@3px 指标，性能翻倍有余）显著优于现成学习描述子，并以 29% 优于用多视立体监督的基线。此外，我们证明所学稠密描述子使机器人能对轻薄、反光物体执行精确的 6 自由度（6-DoF）抓取与放置。
引用
@article{arxiv.2203.01913,
title = {NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance Fields},
author = {Lin Yen-Chen and Pete Florence and Jonathan T. Barron and Tsung-Yi Lin and Alberto Rodriguez and Phillip Isola},
journal= {arXiv preprint arXiv:2203.01913},
year = {2022}
}
备注
ICRA 2022, Website: https://yenchenlin.me/nerf-supervision/