RayGauss：基于体积高斯的射线投射用于照片级真实感新视角合成
计算机视觉与模式识别
2025-02-06 v2 图形学
摘要
基于可微分体积渲染的方法在新视角合成方面取得了显著进展。一方面，创新方法用局部参数化结构替代了神经辐射场（NeRF）网络，实现了在合理时间内的高质量渲染。另一方面，方法使用可微分splatting替代NeRF的射线投射，利用高斯核快速优化辐射场，允许对场景进行精细适配。然而，对不规则间距核的可微分射线投射很少被探索，而splatting尽管实现了快速渲染时间，但容易产生明显可见的伪影。我们的工作通过提供发射辐射度c和密度{\sigma}的物理一致性公式来弥合这一差距，该公式使用与球面高斯/谐波相关的高斯函数进行全频段颜色表示。我们还引入了一种方法，利用逐层积分辐射场并借助BVH结构的算法，实现对不规则分布高斯的可微分射线投射。这使我们的方法能够在避免splatting伪影的同时精细适配场景。因此，我们实现了优于最先进方法的渲染质量，同时保持了合理的训练时间，并在Blender数据集上达到了25 FPS的推理速度。项目页面包含视频和代码：https://raygauss.github.io/
引用
@article{arxiv.2408.03356,
title = {RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis},
author = {Hugo Blanc and Jean-Emmanuel Deschaud and Alexis Paljic},
journal= {arXiv preprint arXiv:2408.03356},
year = {2025}
}
备注
Project page with videos and code: https://raygauss.github.io/