选择与组合(SAC):一种基于高效局部马尔可夫网元的点云生成多立体深度融合新算法
计算机视觉与模式识别
2023-08-24 v1
摘要
许多基于图像的表面重建实用系统采用立体/多立体范式,因其能扩展至大场景且易于实现核外操作。在此过程中,来自立体匹配的多张且大量的深度图必须被组合并融合为单一、一致且干净的点云。然而,立体匹配引起的噪声与离群点以及位姿的异质几何误差对现有融合算法提出了挑战,因为它们大多假设高斯误差并基于局部空间邻域的数据预测融合结果,这可能继承来自多个深度的不确定性从而导致精度下降。本文提出一种新颖的深度融合范式,其并非对多张深度图中的点进行数值融合,而是逐点选择最佳深度图,并将其组合为单一干净的点云。该范式称为选择与组合(select-and-combine, SAC),通过利用局部马尔可夫网元(local Markov Netlets,一种跨邻域视图于点上构建的微网络)建模点级融合以进行深度/视图选择,继而通过网元坍缩过程实现点组合。马尔可夫网元经优化可固有地利用邻域视图深度图间的空间一致性,从而能处理超出高斯分布的误差。实验结果表明,相较最佳现有方法,我们的方法将综合考虑精度与完整性的F1分数提升了2.07%,优于现有深度融合方法。最终,我们的方法生成了冗余减少18%且融合前精度更高的更清晰点云。
引用
@article{arxiv.2308.12138,
title = {Select-and-Combine (SAC): A Novel Multi-Stereo Depth Fusion Algorithm for Point Cloud Generation via Efficient Local Markov Netlets},
author = {Mostafa Elhashash and Rongjun Qin},
journal= {arXiv preprint arXiv:2308.12138},
year = {2023}
}
备注
6 Figures