深度优于 RGB：利用深度相机自动评估开放手术技能
计算机视觉与模式识别
2024-01-19 v1
摘要
目的：在本文中，我们提出了一种利用深度相机自动评估开放手术技能的新方法。这项工作旨在表明深度相机能达到与 RGB 相机相似的结果，而后者是开放手术技能自动评估的常用方法。此外，深度相机具有对光照变化鲁棒、相机定位灵活、数据压缩简化以及增强隐私等优势，使其成为 RGB 相机的有前景的替代方案。方法：专家和新手外科医生完成了两个开放缝合模拟器任务。我们专注于缝合过程中的手部和工具检测以及动作分割。YOLOv8 被用于 RGB 和深度视频中的工具检测。此外，UVAST 和 MSTCN++ 被用于动作分割。我们的研究包括收集和使用 Azure Kinect 录制的数据集并进行标注。结果：我们证明了在目标检测和动作分割中使用深度相机能达到与 RGB 相机相当的结果。此外，我们分析了 3D 手部路径长度，揭示了专家与新手外科医生之间的显著差异，强调了深度相机在捕捉手术技能方面的潜力。我们还调查了相机角度对测量精度的影响，突出了 3D 相机在提供更准确手部运动表示方面的优势。结论：我们的研究通过利用深度相机进行更可靠和注重隐私的评估，推动了手术技能评估领域的发展。研究结果表明，深度相机在评估手术技能方面具有价值，并为该领域的未来研究奠定了基础。
引用
@article{arxiv.2401.10037,
title = {Depth Over RGB: Automatic Evaluation of Open Surgery Skills Using Depth Camera},
author = {Ido Zuckerman and Nicole Werner and Jonathan Kouchly and Emma Huston and Shannon DiMarco and Paul DiMusto and Shlomi Laufer},
journal= {arXiv preprint arXiv:2401.10037},
year = {2024}
}