利用几何信息缓解手术室中的偏差

深度神经网络容易学习虚假关联，利用数据集特定的伪影而非有意义的特征进行预测。在手术室中，这些偏差通过标准化的手术衣和罩袍体现出来，它们掩盖了鲁棒的识别标志，为与手术室人员建模相关的任务引入了模型偏差。通过对两个公开手术室数据集进行基于梯度的显著性分析，我们发现卷积神经网络模型屈服于此类捷径，专注于偶然的视觉线索，例如手术袍下的鞋类、独特的眼镜或其他特定角色的标识符。避免此类偏差对于手术室中的下一代智能辅助系统至关重要，这些系统应能准确识别个性化的工作流程特征，例如手术技能水平或与其他工作人员的协调。我们通过将人员编码为三维点云序列来解决此问题，将身份相关的形状和运动模式与基于外观的混淆因素解耦。我们的实验表明，虽然RGB方法和几何方法在具有明显模拟伪影的数据集上取得了可比的性能，但在视觉多样性因标准化而降低的真实临床环境中，RGB模型的准确率下降了12%。这一性能差距证实，几何表示捕获了更有意义的生物特征，为开发手术室中鲁棒的人员建模方法提供了一条途径。