面向消费级设备的 3D 高斯溅影像学应用
图形学
2024-06-26 v2
摘要
3D 解剖结构的交互式照片实时渲染用于医学教育，以解释人体结构。当前受限于前置教学场景，即使拥有强大的 GPU 和对大型数据集进行高速访问的存储设备，交互式演示也难以实现。我们提出使用压缩 3D 高斯溅影 (3DGS) 的新视角合成方法，以克服此限制，并甚至使学生能够在轻便的移动设备上进行电影级解剖。我们提出的管道首先找到一组相机姿态，以捕获所有可能看到的结构。随后，使用路径追踪生成高质量图像并转换为紧凑的 3DGS 表示，即使对于多个 GB 的数据集也只需占用 < 70 MB 的存储空间。这使得能够以实时照片级新视角合成恢复至体素分辨率的结构，并几乎与路径追踪图像 indistinguishable。
引用
@article{arxiv.2404.11285,
title = {Application of 3D Gaussian Splatting for Cinematic Anatomy on Consumer Class Devices},
author = {Simon Niedermayr and Christoph Neuhauser and Kaloian Petkov and Klaus Engel and Rüdiger Westermann},
journal= {arXiv preprint arXiv:2404.11285},
year = {2024}
}