稠密单目非刚性三维重建的研究现状

从一组单目二维图像观测中重建可变形（或非刚性）场景的三维结构，是计算机视觉与图形学中一个长期且活跃的研究领域。这是一个不适定的逆问题，因为——若无额外的先验假设——它允许无穷多解均能准确投影至输入的二维图像。非刚性重建是机器人、AR/VR 或视觉内容创作等下游应用的基础构建模块。使用单目相机的关键优势在于其无处不在、终端用户易于获取，且相较于立体或多视系统等更复杂的相机设置更易于使用。本综述聚焦于从单目视频或单目视图集合中对各类可变形物体与复合场景进行稠密非刚性三维重建的前沿方法。我们回顾了基于二维图像观测的三维重建与形变建模的基础理论。随后从处理任意场景且仅作少量先验假设的通用方法出发，逐步过渡到对观测物体与形变类型（如人脸、人体、手与动物）作更强假设的技术。本 STAR 综述的相当篇幅也致力于方法的分类与高层对比，以及用于训练和评估所述技术的数据集概览。最后，我们讨论了该领域面临的开放挑战以及使用所综述方法相关的社会性问题。