基于单张 RGB-D 图像联合颜色与语义估计的点云场景补全
计算机视觉与模式识别
2022-10-13 v1
摘要
我们提出了一种在体积引导下进行彩色语义点云场景补全的深度强化学习渐进式视角修复方法，仅从一张具有严重遮挡的单张 RGB-D 图像即可实现高质量场景重建。我们的方法是端到端的，由三个模块组成：3D 场景体积重建、2D RGB-D 与分割图像修复，以及用于补全的多视角选择。给定单张 RGB-D 图像，我们的方法首先预测其语义分割图，并经过 3D 体积分支获得体积场景重建，作为下一步视角修复的引导，该步骤试图补足缺失信息；第三步将体积在输入相同视角下投影，将其拼接以补全当前视角 RGB-D 与分割图，并将所有 RGB-D 与分割图整合为点云。由于遮挡区域不可用，我们借助 A3C 网络环视并逐步挑选下一个最佳视角以补全大孔洞，直至场景被充分重建同时保证有效性。所有步骤联合学习以获得鲁棒且一致的结果。我们在 3D-FUTURE 数据上进行了大量实验的定性与定量评估，取得了优于现有最优方法的结果。
引用
@article{arxiv.2210.05891,
title = {Point Cloud Scene Completion with Joint Color and Semantic Estimation from Single RGB-D Image},
author = {Zhaoxuan Zhang and Xiaoguang Han and Bo Dong and Tong Li and Baocai Yin and Xin Yang},
journal= {arXiv preprint arXiv:2210.05891},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:1903.04019