从单次扫描构建三维可形变模型

我们提出一种从单个 3D 网格构建 3D 物体生成模型的方法。我们的方法生成一个以高斯过程表示形状和反照率的三维可形变模型（3D morphable model）。我们将形状形变定义在物理（3D）空间中，并将反照率形变定义为物理空间与颜色空间形变的组合。以往方法通常通过主成分分析从多个高质量 3D 扫描构建三维可形变模型，而我们从单个扫描或模板构建三维可形变模型。正如我们在人脸领域所展示的，这些模型可用于从 2D 数据（逆图形学）或 3D 数据（配准）推断 3D 重建。具体而言，我们表明我们的方法可用于仅使用单个 3D 扫描（总计一次扫描，而非每人一次）进行人脸识别，并进一步展示如何融入多个扫描以提升性能而无需稠密对应。我们的方法使得在多个扫描间缺乏稠密对应的 3D 物体类别上合成三维可形变模型成为可能。我们通过为鱼类和鸟类构建额外的三维可形变模型并用于执行简单逆渲染任务来演示这一点。我们共享了用于生成这些模型及执行逆渲染与配准实验的代码。