用于实时视图合成的体素-网格混合表示
计算机视觉与模式识别
2024-11-21 v2
摘要
神经辐射场已成为合成新视图真实图像的重要方法。虽然基于体素或网格的神经辐射表示各自具有独特优势，分别在渲染质量或速度上表现优异，但各自在另一方面均存在局限。为此，我们提出一种名为 Vosh 的混合表示，在视图合成的混合渲染中无缝结合了体素和网格组件。Vosh 通过基于神经渲染优化体素网格，并策略性地将部分体积密度场网格化为表面而精心构建。因此，它通过网格组件在具有简单几何和纹理的场景中实现快速渲染，同时利用体素组件在复杂区域实现高质量渲染。Vosh 的灵活性体现在能够调整混合比例，从而允许用户根据灵活的使用需求控制渲染质量与速度之间的平衡。实验结果表明，我们的方法在渲染质量和速度之间取得了值得称赞的折衷，并且在移动设备上具有实时性能。交互式 Web 演示和代码可在 https://zyyzyy06.github.io/Vosh 获取。
引用
@article{arxiv.2403.06505,
title = {Voxel-Mesh Hybrid Representation for Real-Time View Synthesis},
author = {Chenhao Zhang and Yongyang Zhou and Lei Zhang},
journal= {arXiv preprint arXiv:2403.06505},
year = {2024}
}