用于高效 X 射线新视角合成的辐射高斯泼溅
图像与视频处理
2024-10-29 v3 计算机视觉与模式识别
摘要
X 射线因其比自然光更强的穿透力而广泛应用于透射成像。在渲染新视角 X 射线投影时，现有主要基于 NeRF 的方法存在训练时间长和推理速度慢的问题。在本文中，我们提出了一种基于 3D 高斯泼溅的框架，即 X-Gaussian，用于 X 射线新视角合成。首先，受 X 射线成像各向同性本质的启发，我们重新设计了一种辐射高斯点云模型。我们的模型在学习预测 3D 点的辐射强度时排除了视角方向的影响。基于此模型，我们开发了一种具有 CUDA 实现的可微分辐射光栅化（DRR）。其次，我们定制了一种角度 - 位姿立方体均匀初始化（ACUI）策略，该策略直接使用 X 射线扫描仪的参数来计算相机信息，然后在包围被扫描对象的立方体内均匀采样点位置。实验表明，我们的 X-Gaussian 在最先进方法的基础上提升了 6.5 dB，同时训练时间少于 15%，推理速度超过 73 倍。在稀疏视角 CT 重建上的应用也揭示了我们方法的实用价值。代码公开于 https://github.com/caiyuanhao1998/X-Gaussian。训练过程可视化的视频演示位于 https://www.youtube.com/watch?v=gDVf_Ngeghg。
引用
@article{arxiv.2403.04116,
title = {Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis},
author = {Yuanhao Cai and Yixun Liang and Jiahao Wang and Angtian Wang and Yulun Zhang and Xiaokang Yang and Zongwei Zhou and Alan Yuille},
journal= {arXiv preprint arXiv:2403.04116},
year = {2024}
}
备注
ECCV 2024; The first 3D Gaussian Splatting-based method for X-ray 3D reconstruction