基于 3D 高斯溶射的真实外科图像数据集生成

计算机视觉技术显著增强了机器人辅助的 minimally invasive 手术（RAMIS）的自动化能力，通过先进的工具跟踪、检测和定位。然而，可用于训练的综合性外科数据集的有限 availability 代表了该领域的重大挑战。本研究引入一种新方法，利用 3D 高斯溶射生成合成外科数据集。我们提出了一种从提取和组合外科器械和背景操作环境的 3D 高斯表示，进行变换和组合以生成高保真合成外科情景的方法。我们开发了一个数据记录系统，能够在外科场景中获取图像以及工具和相机姿态。利用这些姿态数据，我们合成再现场景，从而实现对合成图像质量（29.592 PSNR）的直接比较。进一步的验证中，我们比较了在合成数据和真实数据上分别训练的两个 YOLOv5 模型，并在不可见的真实世界测试数据集上评估了其性能。通过比较，我们观察到神经网络性能的提升，合成训练的模型在真实世界数据上的表现优于真实世界训练的模型，提升了 12%。