基于可微渲染的3D重建自适应联合优化

由于扫描和量化过程中不可避免的噪声，通过 RGB-D 传感器进行的3D重建在几何与纹理上均存在误差，导致相机漂移、网格畸变、纹理重影和模糊等伪影。给定一个不完美的重建3D模型，以往多数方法侧重于几何、纹理或相机位姿中某一方面的优化。或在以往的联合优化方法中，对各分量采用了不同的优化方案与目标，形成了复杂系统。本文提出一种基于可微渲染的新型优化方法，通过强制渲染结果与对应 RGB-D 输入之间的一致性，将相机位姿、几何与纹理的优化整合入统一框架。基于该统一框架，我们引入联合优化方法以充分挖掘几何、纹理与相机位姿间的相互关系，并描述一种自适应交错策略以提升优化稳定性与效率。利用可微渲染，施加图像级对抗损失以进一步改善3D模型，使其更具真实感。在合成与真实数据上的定量与定性评估实验证明了我们的方法在恢复精细几何与高保真纹理方面的优越性。代码见 https://adjointopti.github.io/adjoin.github.io/。