FSD：基于快速自监督的单张 RGB-D 图像类别级三维物体重建
计算机视觉与模式识别
2023-10-20 v1 机器人学
摘要
在本工作中，我们解决不依赖真实世界 3D 标注数据的三维物体识别这一挑战性任务。我们的目标是在单张 RGB-D 图像内预测物体的三维形状、尺寸与 6D 位姿，以类别级方式运作，并在推理时无需 CAD 模型。尽管现有自监督方法已在该领域取得进展，它们常因非端到端处理、对不同物体类别依赖独立模型、以及在隐式重建模型训练期间表面提取缓慢而产生低效问题；从而阻碍了 3D 识别过程的速度与现实适用性。我们提出的方法利用多阶段训练流水线，旨在高效地将合成数据上的性能迁移至真实世界域。该途径通过在合成域训练期间结合 2D 与 3D 监督损失，随后在两个额外学习阶段中融入真实世界数据上的 2D 监督与 3D 自监督损失来实现。通过采用这一综合策略，我们的方法成功克服上述局限，并在 NOCS 测试集上以 6D 位姿估计 mAP 绝对提升 16.4% 优于现有自监督 6D 位姿与尺寸估计基线，同时以近实时 5 Hz 运行。
引用
@article{arxiv.2310.12974,
title = {FSD: Fast Self-Supervised Single RGB-D to Categorical 3D Objects},
author = {Mayank Lunayach and Sergey Zakharov and Dian Chen and Rares Ambrus and Zsolt Kira and Muhammad Zubair Irshad},
journal= {arXiv preprint arXiv:2310.12974},
year = {2023}
}
备注
Project page: https://fsd6d.github.io