VET：用于点云补全与高质量神经渲染的视觉误差层析
计算机视觉与模式识别
2023-11-09 v1 图形学
摘要
过去几年中，深度神经网络为新视角合成带来了巨大进展。许多此类方法基于通过运动恢复结构算法获得的（粗糙）代理几何。该代理中的小缺陷可由神经渲染修复，但较大孔洞或缺失部分（常见于薄结构或光泽区域）仍会导致分散注意力的伪影与时间不稳定。本文提出一种基于神经渲染的新方法来检测并修复此类缺陷。作为代理，我们使用点云，其允许我们轻松移除离群几何并填补缺失几何而无需复杂拓扑操作。我们方法的关键在于 (i) 一个可微分、混合的基于点的渲染器，可混合掉冗余点，以及 (ii) 视觉误差层析（VET）概念，其允许我们将 2D 误差图提升以识别缺乏几何的 3D 区域并相应生成新点。此外，(iii) 通过以嵌套环境贴图形式添加点，我们的方法可在同一管线中生成周围环境的高质量渲染。在结果中，我们表明该方法可改善由运动恢复结构获得的点云质量，从而显著提升新视角合成质量。与点生长技术相比，该方法还能有效修复大规模孔洞与缺失薄结构。渲染质量优于 SOTA 方法，时间稳定性显著提升，同时能以实时帧率渲染。
引用
@article{arxiv.2311.04634,
title = {VET: Visual Error Tomography for Point Cloud Completion and High-Quality Neural Rendering},
author = {Linus Franke and Darius Rückert and Laura Fink and Matthias Innmann and Marc Stamminger},
journal= {arXiv preprint arXiv:2311.04634},
year = {2023}
}