使用广义相机的模板法形状恢复

本文提出了一种新方法，用于将三维形状非刚性地配准到由多个相机观察到的二维关键点。非刚性地将三维形状配准到观察到的二维关键点（即Shape-from-Template, SfT）已广泛使用单张图像进行研究，但结合多摄像机信息的SfT为延伸已知应用场景提供了新方向，例如医学成像中的三维形状配准，或从手持相机进行配准等。我们将此类多摄像机 setup 用广义相机模型表示；因此，可以对任何由多个透视或正交相机观察的任意变形物体进行配准。我们提出了多种解决方案：第一种方法假设对应关键点位于从已知三维空间点发出的方向向量上；第二种方法假设对应关键点位于从未知三维空间点发出的方向向量上，但已知其相对于某个局部参考系的姿态；第三种方法除配对点外，还知道所观测物体的轮廓。上述方法构成了使用广义相机解决SfT问题的第一套方案。SfT with广义相机的关键思想是：通过估计变形形状，同时利用多个视角变形物体之间的相互约束信息，从而提高恢复精度。基于配对点的方案可用于凸优化求解，而轮廓基方法则对凸解结果进行迭代细化。我们在大量合成数据和真实数据上 demonstrate了所提方法的精度。