利用手部姿态估计实现开放手术训练反馈自动化

目的：本研究旨在促进最先进计算机视觉算法用于外科医生自动化训练与手术视频分析。通过估计 2D 手部姿态，我们对操作者的手部运动及其与手术器械的交互建模，以研究其对手术训练的潜在益处。方法：我们利用公开手部数据集上的预训练模型，创建了包含 100 段带 2D 手部姿态的开放手术模拟视频的自主内部数据集。我们还评估了姿态估计将手术视频分割为手势与器械使用片段的能力，并与运动学传感器及 I3D 特征比较。此外，我们引入 6 个源自领域专家训练建议的新手术灵巧度代理指标，我们的框架仅凭原始视频即可自动检测所有这些指标。结果：在 Open Surgery Simulation 数据集上，融合多视角 2D 姿态与 I3D 特征实现了 88.35\% 的最先进手势分割准确率。所引入的手术技能代理指标在新手与专家间呈现显著差异，并给出了可操作的改进反馈。结论：本研究通过分析姿态估计在手势分割与技能评估中的有效性，展示了其对开放手术的益处。基于姿态估计的手势分割取得了与物理传感器相当的结果，且无需接触、无需标记。依赖姿态估计的手术灵巧度代理证明可用于迈向自动化训练反馈。我们希望我们的发现能鼓励针对新技能代理指标的更多合作，以提升手术训练效率。