用于三维人体网格配准的局部感知分段变换场

将着装人体点云配准到参数化人体模型是计算机视觉中的一项挑战性任务。传统方法通常依赖重度工程化的流程，需要准确的人体姿态手动初始化和繁琐的后处理。近来，人们提出基于学习的方法以期自动化该过程。我们观察到姿态初始化是准确配准的关键，但现有方法往往无法提供准确的姿态初始化。一个主要障碍是，从人体点云或图像回归关节旋转仍然非常困难。为此，我们提出新颖的分段变换场（PTF），一组学习三维平移向量以将姿态空间中任意查询点映射到其静止姿态空间中对应位置的函数。我们将 PTF 与多类占据网络结合，获得一种新颖的基于学习的框架，可学习同时预测着装人体在姿态空间与规范空间之间的形状和逐点对应关系。我们的核心见解是，每个查询点的平移向量可利用点对齐的局部特征有效估计；因此，给定估计的点对应关系，可通过最小二乘拟合高效获得刚性的逐骨骼变换与关节旋转，从而规避了从神经网络直接回归关节旋转这一困难任务。此外，所提出的 PTF 促进了规范化占据估计，极大提升了泛化能力，并以仅相当于最先进方法一半的参数实现了更精确的表面重建。定性与定量研究均表明，使用我们网络初始化的姿态来拟合参数化模型可带来好得多的配准质量，尤其在极端姿态下。