任意相机运动下的单目手术 4D 重建
计算机视觉与模式识别
2026-02-20 v1
摘要
从内窥镜视频重建可变形手术场景具有挑战性且临床意义重大。近期基于隐式神经表征或 3D 高斯烘焙的方法已取得显著进展。然而，大多数方法设计用于视点固定的可变形场景，依赖立体深度先验或准确的 structure-from-motion 进行初始化和优化，限制了其处理单目序列中大幅相机运动的能力。为此，我们提出了 Local-EndoGS，一个针对任意相机运动的单目内窥镜序列的高质量 4D 重建框架。Local-EndoGS 引入一种渐进式、基于窗口的全局表征，为每个观察窗口分配局部可变形场景模型，从而实现对包含大量运动的长序列的可扩展性。为克服没有立体深度或准确的 structure-from-motion 进行初始化的限制，我们设计了一种从粗到细的策略，集成多视角几何、跨窗口信息和单目深度先验，为优化提供稳健的基础。我们进一步纳入长程 2D 像素轨迹约束和物理运动先验，以提高变形的合理性。在三个公开内窥镜数据集上进行实验，该数据集包含可变形场景和各异相机运动，实验结果表明 Local-EndoGS 在外观质量和几何上持续优于最新方法。ablation 研究验证了我们关键设计的有效性。代码将在接受录取后发布：https://github.com/IRMVLab/Local-EndoGS。
引用
@article{arxiv.2602.17473,
title = {4D Monocular Surgical Reconstruction under Arbitrary Camera Motions},
author = {Jiwei Shan and Zeyu Cai and Cheng-Tai Hsieh and Yirui Li and Hao Liu and Lijun Han and Hesheng Wang and Shing Shin Cheng},
journal= {arXiv preprint arXiv:2602.17473},
year = {2026}
}
备注
Due to the limitation "The abstract field cannot be longer than 1,920 characters", the abstract here is shorter than that in the PDF file Subjects