VisFusion：基于视频的可见性感知在线三维场景重建
计算机视觉与模式识别
2023-04-24 v1
摘要
我们提出 VisFusion，一种基于已标定单目视频的可见性感知在线三维场景重建方法。具体而言，我们旨在从体素特征重建场景。与以往不考虑体素可见性而直接从输入视图聚合各体素特征的方法不同，我们旨在通过从每个图像对中各投影特征的相似度矩阵显式推断其可见性来改进特征融合。遵循先前工作，我们的模型是一个由粗到细的流程，包含体素稀疏化过程。与它们使用固定占据阈值全局稀疏化体素不同，我们沿每条视觉射线在局部特征体上执行稀疏化，以保留每条射线至少一个体素从而保留更多精细细节。随后将稀疏局部体与全局体融合以实现在线重建。我们进一步提出以由粗到细的方式通过学习跨尺度的残差来预测 TSDF，从而获得更好的 TSDF 预测。在基准上的实验结果表明，我们的方法能以更多场景细节实现更优性能。代码见：https://github.com/huiyu-gao/VisFusion
引用
@article{arxiv.2304.10687,
title = {VisFusion: Visibility-aware Online 3D Scene Reconstruction from Videos},
author = {Huiyu Gao and Wei Mao and Miaomiao Liu},
journal= {arXiv preprint arXiv:2304.10687},
year = {2023}
}
备注
CVPR 2023