从单视图图像学习姿态不变的 3D 物体重建
计算机视觉与模式识别
2021-07-14 v2
摘要
利用 2D 图像学习重建 3D 形状是一个活跃的研究课题,其好处在于不需要昂贵的 3D 数据。然而,该方向的大部分工作需要对每个物体实例使用多视图图像作为训练监督,这在实际中往往难以满足。本文放宽了常见的多视图假设,探索了仅从单视图图像学习 3D 形状这一更具挑战性也更贴近实际的设定。主要困难在于单视图图像所能提供的约束不足,导致学习到的形状空间中出现姿态纠缠问题。结果,重建形状随输入姿态变化且精度较差。我们通过一种新颖的域适应视角解决该问题,并提出一种有效的对抗域混淆方法来学习姿态解耦的紧凑形状空间。在单视图重建上的实验表明该方法能有效解决姿态纠缠,且所提方法以更高效率取得了与当前最优(state-of-the-art)相当的重建精度。
引用
@article{arxiv.2004.01347,
title = {Learning Pose-invariant 3D Object Reconstruction from Single-view Images},
author = {Bo Peng and Wei Wang and Jing Dong and Tieniu Tan},
journal= {arXiv preprint arXiv:2004.01347},
year = {2021}
}
备注
under review, code available at https://github.com/bomb2peng/learn3D