自动化外科训练反馈分析：检测、分类与评估

本工作引入了首个用于从非结构化真实世界录音重建外科对话的框架，这对于描述教学任务至关重要。在外科训练中，教练在实时手术期间向学员提供的形式化口头反馈对于确保安全、纠正行为并促进长期技能掌握至关重要。然而，由于反馈的非结构化和专业性，分析和量化这一反馈具有挑战性。自动化系统对于以规模方式管理这些复杂性至关重要，允许创建结构化数据集以增强反馈分析并改进外科教育。我们的框架集成了语音活动检测、说话人分割和自动语音识别技术，并提出了新的改进措施：1）消除幻觉（即在语音识别中生成的不存在语料，受操作室噪声驱动）；2）使用少量语音样本将语音从教练和学员中分离。这些方面对于重建准确的外科对话并理解操作室参与者的角色至关重要。我们使用来自33例真实手术的数据，展示了系统能够有效重建外科教学对话并检测反馈实例的能力（F1分数为0.79±0.07）。此外，我们的幻觉消除步骤通过约14%提高了反馈检测性能。在预测学员行为调整和分类技术性反馈等下游临床相关任务上的评估显示，性能相当于手动标注，分别为0.82±0.03和0.81±0.03。这些结果凸显了我们的框架在支持临床相关任务方面的有效性，并优于手动方法。