非刚性残差流与自运动的自监督学习
计算机视觉与模式识别
2020-10-20 v2 机器学习
摘要
当前大多数场景流方法选择将场景流建模为逐点平移向量，而不区分三维运动的静态与动态分量。在本工作中，我们提出了一种端到端场景流学习的替代方法，通过对动态三维场景的非刚性残差流与自运动流进行联合估计。我们提出从一对点云中学习相对刚性变换，随后进行迭代细化。然后我们从变换后的输入中以扣除的刚性流部分学习非刚性流。此外，我们基于点云序列的时间一致性特性，用自监督信号扩展了监督框架。我们的方案既允许以监督模式结合自监督损失项进行训练，也允许以完全自监督模式进行训练。我们证明，将场景流分解为非刚性流与自运动流并引入自监督信号，使我们超越了当前最先进的监督方法。
引用
@article{arxiv.2009.10467,
title = {Self-Supervised Learning of Non-Rigid Residual Flow and Ego-Motion},
author = {Ivan Tishchenko and Sandro Lombardi and Martin R. Oswald and Marc Pollefeys},
journal= {arXiv preprint arXiv:2009.10467},
year = {2020}
}
备注
Accepted to 3DV 2020 (oral)