3D 场景流网络的关键要素探究
计算机视觉与模式识别
2022-07-20 v1
摘要
从点云估计 3D 场景流是计算机视觉中的低层 3D 运动感知任务。流嵌入是场景流估计中常用的技术，其编码两连续帧之间的点运动。因此，流嵌入捕获正确的运动整体方向至关重要。然而，先前工作仅局部搜索以确定软对应，忽略了实为真正匹配点的远处点。此外，估计的对应通常来自相邻点云的前向方向，可能与其后向方向获得的估计对应不一致。为解决这些问题，我们提出了一种新颖的全点对点流嵌入层，并在初始场景流估计中进行后向可靠性验证。此外，我们调研并比较了 3D 场景流网络关键组件中的若干设计选择，包括点相似度计算、预测器输入元素以及预测器与细化层级设计。在精心选择最有效设计后，我们得以呈现一个在 FlyingThings3D 和 KITTI Scene Flow 数据集上达到最先进性能的模型。我们提出的模型在 FlyingThings3D 数据集上以 EPE3D 指标超越所有现有方法至少 38.2%，在 KITTI Scene Flow 数据集上超越至少 24.7%。我们的代码发布于 https://github.com/IRMVLab/3DFlow。
引用
@article{arxiv.2207.09143,
title = {What Matters for 3D Scene Flow Network},
author = {Guangming Wang and Yunzhe Hu and Zhe Liu and Yiyang Zhou and Masayoshi Tomizuka and Wei Zhan and Hesheng Wang},
journal= {arXiv preprint arXiv:2207.09143},
year = {2022}
}
备注
Accepted by ECCV 2022