神经非刚性跟踪

我们引入一种新颖的、端到端可学习的、可微的非刚性跟踪器，其通过学习的鲁棒优化实现最先进的刚性重建。给定非刚性运动物体的两帧输入 RGB-D 图像，我们采用卷积神经网络预测稠密对应及其置信度。这些对应被用作尽可能刚性（ARAP）优化问题中的约束。通过使梯度经加权非线性最小二乘求解器反向传播，我们得以端到端地学习对应与置信度，使其对非刚性跟踪任务最优。在此公式下，对应置信度可通过自监督学习，告知一个学习的鲁棒优化，其中离群点和错误对应被自动降权以实现有效跟踪。与最先进方法相比，我们的算法展现出改进的重建性能，同时实现比可比的基于深度学习的方法快 85 倍的对应预测。我们公开了代码。