Endo-4DGS：基于4D高斯溅射的内窥镜单目场景重建
计算机视觉与模式识别
2024-04-03 v4
摘要
在机器人辅助微创手术领域，动态场景重建可以显著增强下游任务并改善手术结果。基于神经辐射场（NeRF）的方法因其卓越的场景重建能力而近来备受关注，但受到推理速度慢、训练时间长和深度估计不一致的困扰。一些先前的工作利用真实深度进行优化，但在手术领域难以获取。为了克服这些障碍，我们提出了Endo-4DGS，一种实时的内窥镜动态重建方法，利用3D高斯溅射（GS）进行3D表示。具体来说，我们提出了轻量级MLP来通过高斯变形场捕获时间动态。为了获得令人满意的高斯初始化，我们利用强大的深度估计基础模型Depth-Anything生成伪深度图作为几何先验。我们还提出了置信度引导学习来解决单目深度估计中的病态问题，并通过表面法线约束和深度正则化增强深度引导的重建。我们的方法在两个手术数据集上得到了验证，能够实时高效地渲染，并以卓越的精度进行重建。
引用
@article{arxiv.2401.16416,
title = {Endo-4DGS: Endoscopic Monocular Scene Reconstruction with 4D Gaussian Splatting},
author = {Yiming Huang and Beilei Cui and Long Bai and Ziqi Guo and Mengya Xu and Mobarakol Islam and Hongliang Ren},
journal= {arXiv preprint arXiv:2401.16416},
year = {2024}
}