通用非刚性场景三维重建的最新趋势

重建现实世界模型，包括真实场景的三维几何、外观和运动，对于计算机图形学和计算机视觉至关重要。它能够合成照片般逼真的新视角，对电影工业和 AR/VR 应用非常有用。它还通过避免费力的手动设计过程，促进了计算机游戏和 AR/VR 中必要的内容创建。此外，此类模型对于需要解释现实世界场景和动作以安全地与人类世界行动和交互的智能计算系统是基础性的。值得注意的是，我们周围的世界是动态的，重建动态、非刚性运动场景的模型是一个严重欠约束且具有挑战性的问题。这份最新进展报告（STAR）为读者提供了关于单目和多视图输入（如来自 RGB 和 RGB-D 传感器的数据等）的最新技术综合总结，传达了对不同方法、其潜在应用以及有前景的进一步研究方向的理解。该报告涵盖了通用非刚性场景的三维重建，并进一步讨论了场景分解、编辑与控制，以及可泛化和生成式建模技术。更具体地说，我们首先回顾了理解和导航该领域所必需的通用和基础概念，然后通过回顾近期使用传统和基于机器学习神经表示的方法，讨论了最新技术，包括对新启用应用的讨论。本 STAR 以对剩余局限性和开放挑战的讨论作为结尾。