TOGS：用于实时 4D DSA 渲染的带时间不透明度偏移的高斯泼溅
计算机视觉与模式识别
2024-09-10 v2 图形学
摘要
四维数字减影血管造影（4D DSA）是一种医学成像技术，可在造影剂充盈血管的过程中提供在不同阶段和角度捕获的一系列 2D 图像。它在脑血管疾病的诊断中发挥着重要作用。在稀疏采样下提高渲染质量和速度对于观察病灶的状态和位置至关重要。当前方法在稀疏视图下渲染质量不佳且渲染速度缓慢。为了克服这些局限性，我们提出了 TOGS，一种具有随时间变化的不透明度偏移的高斯泼溅方法，能够有效提高 4D DSA 的渲染质量和速度。我们为每个高斯引入一个不透明度偏移表来建模高斯的不透明度偏移，利用这些不透明度变化的高斯来建模造影剂辐射亮度的时间变化。通过对不透明度偏移表进行插值，可以确定高斯在不同时间点的不透明度变化。这使我们能够渲染该特定时刻的 2D DSA 图像。此外，我们在损失函数中引入了 Smooth 损失项，以缓解模型在处理稀疏视图场景时可能出现的过拟合问题。在训练阶段，我们随机修剪高斯，从而降低模型的存储开销。实验结果表明，与以往方法相比，该模型在相同训练视图数下实现了 SOTA 渲染质量。此外，它在保持低存储开销的同时实现了实时渲染。代码可在 https://github.com/hustvl/TOGS 获取。
引用
@article{arxiv.2403.19586,
title = {TOGS: Gaussian Splatting with Temporal Opacity Offset for Real-Time 4D DSA Rendering},
author = {Shuai Zhang and Huangxuan Zhao and Zhenghong Zhou and Guanjun Wu and Chuansheng Zheng and Xinggang Wang and Wenyu Liu},
journal= {arXiv preprint arXiv:2403.19586},
year = {2024}
}