LGS:轻量级 4D 高斯溅写用于高效手术场景重建
计算机视觉与模式识别
2024-06-25 v1
摘要
3D 高斯溅写(3D-GS)技术及其动态场景建模变体 4D-GS 为动态手术场景的实时渲染提供了前景。然而,建模由大量高斯单元组成的动态场景的前提——高维高斯属性和高分辨率变形场——导致存储问题,阻碍资源受限手术设备的实时渲染。为克服这些限制,我们引入轻量级 4D 高斯溅写框架(LGS),以释放渲染和存储的效率瓶颈,用于动态内窥镜重建。具体而言,为最小化高斯数量的冗余,我们提出了基于衡量每个高斯对变形影响的变形感知修剪策略。同时,为减少高斯属性的冗余,我们通过修剪高斯属性的维度来简化非关键区域的纹理和光照表示。进一步,通过 4D 特征场浓缩解决高分辨率 4D 神经时空编码建模动态场景所导致的特征场冗余问题。在公开基准数据集上的实验表明,LGS 在压缩率超过 9 倍的同时,保持了令人满意的视觉质量和实时渲染效率。LGS 证明了在机器人手术服务中取得的重要进展。
引用
@article{arxiv.2406.16073,
title = {LGS: A Light-weight 4D Gaussian Splatting for Efficient Surgical Scene Reconstruction},
author = {Hengyu Liu and Yifan Liu and Chenxin Li and Wuyang Li and Yixuan Yuan},
journal= {arXiv preprint arXiv:2406.16073},
year = {2024}
}
备注
Accepted by MICCAI 2024. Project page: https://lgs-endo.github.io/