FLex：立体内窥镜视频的联合位姿与动态辐射场优化
计算机视觉与模式识别
2024-03-20 v1 图形学
机器学习
摘要
内窥镜场景重建是多种医学应用的重要资产，从术后分析到教育培训均涵盖其中。神经渲染近期在组织变形的内窥镜重建中展现出有前景的结果。然而，其设置一直局限于静态内窥镜、有限变形，或需要外部跟踪设备来获取内窥镜相机的位姿信息。我们通过 FLex 应对移动内窥镜在组织高度变形的动态环境中的挑战性设置。我们提出将场景隐式分离为多个重叠的 4D 神经辐射场（NeRFs），并采用一种渐进式优化方案，从零开始联合优化重建和相机位姿。这提高了易用性，并允许在时间上扩展重建能力，以处理 5,000 帧及更多帧的手术视频；与现有技术相比，处理能力提升了十倍以上，同时不依赖外部跟踪信息。在 StereoMIS 数据集上的广泛评估表明，FLex 在保持有竞争力的位姿精度的同时，显著提升了新视角合成的质量。
引用
@article{arxiv.2403.12198,
title = {FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos},
author = {Florian Philipp Stilz and Mert Asim Karaoglu and Felix Tristram and Nassir Navab and Benjamin Busam and Alexander Ladikos},
journal= {arXiv preprint arXiv:2403.12198},
year = {2024}
}