通过由粗到细基于区域的 Sobolev 下降法进行含遮挡的形状跟踪

我们提出了一种方法，基于参数化区域的新黎曼流形上的新建模和优化，来跟踪视频中物体的精确形状。联合动态形状和外观模型（其中物体模板被传播以匹配下一帧中的物体形状和辐射度）在物体辐射度复杂和背景杂乱的情况下，优于采用全局图像统计的方法。在三维物体运动和视角变化的情况下，物体的自遮挡和去遮挡现象显著，而当前采用联合形状和外观模型的方法无法适应新的形状和外观信息，导致形状检测不准确。在本工作中，我们在联合形状和外观跟踪框架中对自遮挡和去遮挡进行了建模。自遮挡与传播模板的形变是耦合的，因此形成了一个联合问题。我们推导了一种由粗到细的优化方案，该方案在物体跟踪中具有优势，它首先通过粗扰动对模板进行扰动，然后过渡到更细尺度的扰动，无缝且自动地遍历所有尺度。该方案是在我们引入的新型无限维黎曼流形上的梯度下降。该流形由平面参数化区域组成，我们引入的度量是定义在区域上无穷小矢量场的一种新型 Sobolev 型度量。该度量的特性使得梯度下降自动倾向于粗尺度形变（当它们降低能量时），然后再转向细尺度形变。在展示遮挡/去遮挡、复杂辐射度和背景的视频上的实验表明，与最近采用联合形状/外观模型或采用全局统计的方法相比，遮挡/去遮挡建模带来了更优越的形状精度。