结合表面感知与循环一致性的自监督3D场景流正则化
计算机视觉与模式识别
2024-08-14 v3
摘要
在无监督下学习如何从点云中预测3D场景流对许多感知系统至关重要。我们为该任务提出了一种新的学习框架，改进了必要的正则化。基于场景元素大多为刚性的假设，当前的平滑度损失建立在输入点云中“刚性簇”的定义之上。这些簇的定义具有挑战性，且对预测流的质量有显著影响。我们引入了两种新的一致性损失，在扩大簇的同时防止其扩散到不同的目标上。具体而言，我们通过前向-后向循环损失强制执行时间一致性，并通过在空间邻近性之外考虑表面方向相似性来强制执行空间一致性。所提出的损失与模型无关，因此可以即插即用的方式显著提高现有模型的性能，正如在两种最广泛使用的架构上所证明的那样。我们还在四个标准的传感器独特的驾驶数据集上展示了我们框架的有效性和泛化能力，在3D场景流估计中达到了SOTA性能。代码可在 https://github.com/ctu-vras/sac-flow 获取。
引用
@article{arxiv.2312.08879,
title = {Regularizing Self-supervised 3D Scene Flows with Surface Awareness and Cyclic Consistency},
author = {Patrik Vacek and David Hurych and Karel Zimmermann and Patrick Perez and Tomas Svoboda},
journal= {arXiv preprint arXiv:2312.08879},
year = {2024}
}