RFNet-4D++：基于交叉注意力时空特征从4D点云联合重建物体与估计流
计算机视觉与模式识别
2023-10-18 v3
摘要
从3D点云进行物体重建一直是计算机视觉与计算机图形学中的长期研究问题，并已取得令人瞩目的进展。然而，从时变点云（即4D点云）进行重建通常被忽视。本文中，我们提出一种新的网络架构，称为 RFNet-4D++，可从4D点云联合重建物体及其运动流。核心见解是：通过从点云序列学习空间与时间特征来同时执行这两项任务，可相互增益，从而提升整体性能。为证明此能力，我们设计了一个时间向量场学习模块，采用无监督学习方法用于流估计任务，并借助用于物体重建的空间结构监督学习来增强。在基准数据集上的大量实验与分析验证了我们方法的有效性与高效性。如实验结果所示，我们的方法在流估计与物体重建上均达到 SOTA 性能，同时在训练与推理中均远快于现有方法。我们的代码与数据见 https://github.com/hkust-vgd/RFNet-4D
引用
@article{arxiv.2203.16482,
title = {RFNet-4D++: Joint Object Reconstruction and Flow Estimation from 4D Point Clouds with Cross-Attention Spatio-Temporal Features},
author = {Tuan-Anh Vu and Duc Thanh Nguyen and Binh-Son Hua and Quang-Hieu Pham and Sai-Kit Yeung},
journal= {arXiv preprint arXiv:2203.16482},
year = {2023}
}
备注
TPAMI journal extension of ECCV 2022 arXiv:2203.16482