对抗式自监督场景流估计
计算机视觉与模式识别
2020-11-03 v1 人工智能
摘要
本工作提出了一种用于自监督场景流估计的度量学习方法。场景流估计是为连续三维点云估计三维流向量的任务。此类流向量很有价值，例如用于动作识别或碰撞避免。通过监督学习训练神经网络进行场景流估计是不切实际的，因为这需要对每个场景在每个新时间戳的每个三维点进行人工标注。为此，我们寻求一种自监督方法，其中网络学习一种潜在度量，以区分由流估计平移的点与目标点云。我们的对抗式度量学习包含针对两点云序列的多尺度三元组损失以及循环一致性损失。此外，我们概述了一个自监督场景流估计基准：Scene Flow Sandbox。该基准由五个数据集组成，按复杂度递增顺序研究流估计的各个方面，从运动物体到真实场景。在基准上的实验评估表明，我们的方法取得了最先进的自监督场景流结果，优于近期基于邻居的方法。我们使用提出的基准揭示各种训练设置的缺陷并获取见解。我们发现我们的设置能捕捉运动一致性并保留局部几何。另一方面，处理遮挡仍是一个开放挑战。
引用
@article{arxiv.2011.00551,
title = {Adversarial Self-Supervised Scene Flow Estimation},
author = {Victor Zuanazzi and Joris van Vugt and Olaf Booij and Pascal Mettes},
journal= {arXiv preprint arXiv:2011.00551},
year = {2020}
}
备注
Published at 3DV 2020