面向可控手术器械的数字双胞胎：基于高斯溅射的 Instrument-Splatting++
机器人学
2026-03-26 v2
摘要
高质量且可控的手术器械数字双胞胎是机器人辅助手术中 Real2Sim 的关键，能够实现真实的模拟、合成数据生成以及在新姿态下的感知学习。在本文中，我们提出了 Instrument-Splatting++，一个单目 3D 高斯溅射 (3DGS) 框架，用于将手术器械重建为具有高保真度的可控高斯资产。我们的管道从部件级几何预训练开始，将 CAD 先验注入高斯原始块中，并构建具备部件感知语义渲染的表示。在预训练模型之上，我们提出了一种语义感知姿态估计和跟踪 (SAPET) 方法，用于从未定位的内窥镜视频中恢复每帧的 6 自由度姿态和关节角度，其中一个仅由合成语义提供稳健监督的抓握尖端网络以及一种松�的正则化抑制奇异运动。最后，我们引入稳健纹理学习 (RTL)，交替进行姿态细化和稳健外观优化，减轻纹理学习中的姿态噪声。该框架能够进行姿态估计和从未定位视频中学习逼真纹理。我们在从 EndoVis17/18、SAR-RARP 和内部数据集中提取的序列上进行了验证，显示在照度质量和几何精度方面优于最先进的基线方法。我们进一步展示了一个下游关键点检测任务，其中来自我们可控手术器械高斯的数字数据增强提高了性能。
引用
@article{arxiv.2603.22792,
title = {Instrument-Splatting++: Towards Controllable Surgical Instrument Digital Twin Using Gaussian Splatting},
author = {Shuojue Yang and Zijian Wu and Chengjiaao Liao and Qian Li and Daiyun Shen and Chang Han Low and Septimiu E. Salcudean and Yueming Jin},
journal= {arXiv preprint arXiv:2603.22792},
year = {2026}
}
备注
10 pages, 9 figures