GaSpCT:用于 CT 新投影视图合成的 Gaussian Splatting
图像与视频处理
2024-04-05 v1 计算机视觉与模式识别
摘要
我们提出了 GaSpCT,一种用于生成计算机断层扫描(CT)新投影视图的新视图合成与 3D 场景表示方法。我们调整了 Gaussian Splatting 框架,以基于有限的 2D 图像投影集实现 CT 中的新视图合成,且无需运动恢复结构(SfM)方法。因此,我们减少了总扫描持续时间以及患者在扫描期间接受的辐射剂量。我们通过使用两种稀疏性促进正则化项(beta 损失和总变分(TV)损失)来增强前景与背景的区分度,从而使损失函数适应我们的用例。最后,我们利用视野内大脑预期位置的均匀先验分布,在 3D 空间中初始化高斯位置。我们使用来自帕金森病进展标志物倡议(PPMI)数据集的脑部 CT 扫描评估了模型的性能,并证明渲染出的新视图与模拟扫描的原始投影视图高度匹配,且性能优于其他隐式 3D 场景表示方法。此外,与基于神经网络的稀疏视图 CT 图像重建图像合成相比,我们凭经验观察到训练时间有所减少。最后,与等效的体素网格图像表示相比,Gaussian Splatting 表示的内存需求降低了 17%。
引用
@article{arxiv.2404.03126,
title = {GaSpCT: Gaussian Splatting for Novel CT Projection View Synthesis},
author = {Emmanouil Nikolakakis and Utkarsh Gupta and Jonathan Vengosh and Justin Bui and Razvan Marinescu},
journal= {arXiv preprint arXiv:2404.03126},
year = {2024}
}
备注
Under Review Process for MICCAI 2024