基于体素引导的渐进式视图修复深度强化学习方法用于单张深度图像的三维点云场景补全
计算机视觉与模式识别
2019-03-13 v2
摘要
我们提出了一种在体素引导下用于三维点云场景补全的渐进式视图修复深度强化学习方法，仅从一张具有严重遮挡的单张深度图像即可实现高质量的场景重建。我们的方法是端到端的，由三个模块组成：三维场景体素重建、二维深度图修复以及用于补全的多视图选择。给定一张深度图像，我们的方法首先经过三维体素分支获得体素化场景重建，作为下一步视图修复的引导，该步骤试图弥补缺失信息；第三步包括在与输入相同的视角下投影体素，将其拼接以补全当前视角深度，并将所有深度整合为点云。由于遮挡区域不可用，我们借助深度Q网络（deep Q-Network）环视并逐步挑选下一个最佳视图以补全大孔洞，直到场景被充分重建同时保证有效性。所有步骤联合学习以获得鲁棒且一致的结果。我们在SUNCG数据上进行了大量实验的定性与定量评估，取得了优于当前最优方法的结果。
引用
@article{arxiv.1903.04019,
title = {Deep Reinforcement Learning of Volume-guided Progressive View Inpainting for 3D Point Scene Completion from a Single Depth Image},
author = {Xiaoguang Han and Zhaoxuan Zhang and Dong Du and Mingdai Yang and Jingming Yu and Pan Pan and Xin Yang and Ligang Liu and Zixiang Xiong and Shuguang Cui},
journal= {arXiv preprint arXiv:1903.04019},
year = {2019}
}
备注
Accepted as CVPR 2019 Oral