NeeCo：基于动态可变形三维高斯重建的新型器械状态图像合成

基于计算机视觉的技术通过推进工具跟踪、检测和定位，显著提升了手术自动化水平。然而，当前的数据驱动方法对数据需求极大，需要大量高质量的标注图像数据集，这限制了它们在手术数据科学中的应用。我们的工作引入了一种新颖的动态高斯泼溅技术，以解决手术图像数据集中的数据稀缺问题。我们提出一个动态高斯模型来表示动态手术场景，从而能够从不可见视角和变形状态渲染带有真实组织背景的手术器械。我们利用动态训练调整策略来应对现实场景中相机位姿校准不佳带来的挑战。此外，我们还提出了一种基于动态高斯的方法，用于自动生成合成数据的标注。为了进行评估，我们构建了一个包含七个场景、14,000帧的新数据集，这些帧记录了工具和相机运动以及工具钳口开合，背景为离体猪模型。利用该数据集，我们合成了与真实数据场景变形一致的图像，从而可以直接比较合成图像的质量。实验结果表明，我们的方法生成了照片级逼真的标注图像数据集，其峰值信噪比（29.87）达到最高。我们进一步使用一个未见过的真实世界图像数据集，评估了在真实和合成图像上训练的医学专用神经网络的性能。结果显示，使用我们提出的方法生成的合成图像训练的模型，其性能比使用最先进的标准数据增强方法训练的模型高出10%，从而使模型整体性能提升了近15%。