OcclusionFusion：用于实时动态三维重建的遮挡感知运动估计
计算机视觉与模式识别
2022-03-16 v1
摘要
基于 RGBD 的实时动态三维重建因帧间运动估计不准确而受影响，因为误差会随在线跟踪累积。对于单视角系统，由于强遮挡，该问题更为严重。基于这些观察，我们提出 OcclusionFusion，一种计算遮挡感知三维运动以引导重建的新方法。在我们的技术中，首先估计可见区域的运动，并结合时序信息，通过涉及 LSTM 的图神经网络推断被遮挡区域的运动。此外，我们的方法通过对网络输出建模为概率模型来计算估计运动的置信度，从而缓解不可信运动并实现鲁棒跟踪。在公开数据集和我们自行记录数据上的实验结果表明，我们的技术大幅优于现有的基于单视角的实时方法。随着运动误差的降低，所提出的技术能够处理长且具挑战性的运动序列。请查看项目页获取序列结果：https://wenbin-lin.github.io/OcclusionFusion。
引用
@article{arxiv.2203.07977,
title = {OcclusionFusion: Occlusion-aware Motion Estimation for Real-time Dynamic 3D Reconstruction},
author = {Wenbin Lin and Chengwei Zheng and Jun-Hai Yong and Feng Xu},
journal= {arXiv preprint arXiv:2203.07977},
year = {2022}
}
备注
Accepted by CVPR 2022. Project page: https://wenbin-lin.github.io/OcclusionFusion