VPFusion：用于单视图与多视图三维重建的联合三维体素与像素对齐特征融合
计算机视觉与模式识别
2022-07-19 v2
摘要
我们提出一个统一的单视图与多视图神经隐式三维重建框架 VPFusion。VPFusion 利用三维特征体素捕获三维结构感知上下文，以及像素对齐图像特征捕获精细局部细节，从而实现高质量重建。现有方法对多视图融合使用 RNN、特征池化或各视图独立计算的注意力。RNN 存在长期记忆丢失与排列方差问题，而特征池化或独立计算的注意力导致各视图表示在最终池化前 unaware 其他视图。相反，我们通过建立基于 transformer 的成对视图关联来改进多视图特征融合。特别地，我们提出一种新颖的交错三维推理与成对视图关联架构，用于跨视图特征体素融合。利用该结构感知与多视图感知特征体素，我们展示了相较现有方法改进的三维重建性能。VPFusion 还通过融入像素对齐局部图像特征以捕获精细细节，进一步提升重建质量。我们在 ShapeNet 与 ModelNet 数据集上验证了 VPFusion 的有效性，其优于或与最先进的单视图及多视图三维形状重建方法性能相当。
引用
@article{arxiv.2203.07553,
title = {VPFusion: Joint 3D Volume and Pixel-Aligned Feature Fusion for Single and Multi-view 3D Reconstruction},
author = {Jisan Mahmud and Jan-Michael Frahm},
journal= {arXiv preprint arXiv:2203.07553},
year = {2022}
}