Surg-InvNeRF：用于手术视觉中 3D 跟踪和重建的可逆 NeRF
计算机视觉与模式识别
2025-08-14 v1 人工智能
机器人学
摘要
我们提出了一种基于 NeRF 架构的 novel test-time optimization（TTO）方法，用于长期 3D 点跟踪。目前大多数点跟踪方法在获取一致运动方面困难，或仅限于 2D 运动。TTO 方法将解决长期跟踪问题表述为优化一个聚合来自其他 specialized state-of-the-art 方法的对应关系的函数。与当前 TTO 方法不同，我们提出使用我们新的可逆神经光度场（InvNeRF）架构对该函数进行参数化，以在手术场景中执行 2D 和 3D 跟踪。我们的做法允许我们利用渲染方法的优势，通过监督像素对应关系的重投影来实现。它适应了最近渲染方法的策略，以获得可双向的可变形标准映射，以有效处理定义的工作区，并引导射线密度。它还提出了我们的多尺度 HexPlanes 以实现快速推断，以及一种高效的像素采样和收敛准则的新算法。我们在 STIR 和 SCARE 数据集上展示了结果，用于评估点跟踪和测试我们管道中运动学数据的集成。在 2D 点跟踪中，我们的方法在平均精度上超过了 TTO state-of-the-art 方法近 50%，而且与其他方法并驾齐驱。在 3D 点跟踪中，这是首个 TTO 方法，超越了 feed-forward 方法，同时融合了可变形 NeRF 基于重建的优势。
引用
@article{arxiv.2508.09681,
title = {Surg-InvNeRF: Invertible NeRF for 3D tracking and reconstruction in surgical vision},
author = {Gerardo Loza and Junlei Hu and Dominic Jones and Sharib Ali and Pietro Valdastri},
journal= {arXiv preprint arXiv:2508.09681},
year = {2025}
}
备注
10 pages