他们在手术室里看哪里？
计算机视觉与模式识别
2026-04-23 v1
摘要
目的：视线跟随，即推断个体正在注视何处的任务，在计算机视觉领域已被广泛研究，推动了视觉注意力建模、社交场景理解和人机交互的研究。然而，视线跟随从未在手术室（OR）这一复杂、高风险的环境中被探索过，而视觉注意力在手术流程分析中扮演着重要角色。本文首次将视线跟随概念引入外科领域，并展示了其在理解手术室中的临床角色、手术阶段和团队沟通方面的巨大潜力。方法：我们为 4D-OR 数据集扩展了视线跟随标注，并为 Team-OR 数据集扩展了视线跟随和新的团队沟通活动标注。然后，我们提出了利用视线跟随模型解决临床角色预测、手术阶段识别和团队沟通检测的新方法。对于角色和阶段识别，我们提出了一种仅使用视线预测的基于视线热图的方法；对于团队沟通检测，我们以自监督方式训练了一个时空模型来编码基于视线的片段特征，然后将这些特征输入到时序活动检测模型中。结果：在 4D-OR 和 Team-OR 数据集上的实验结果表明，我们的方法在所有下游任务上均达到了最先进的性能。定量来看，我们的方法在临床角色预测上获得了 0.92 的 F1 分数，在手术阶段识别上获得了 0.95 的 F1 分数。此外，在团队沟通检测方面，它显著优于现有基线，将先前的最佳性能提升了超过 30%。结论：我们将手术室中的视线跟随引入为外科数据科学的一个新研究方向，突显了其在计算机辅助干预中推进手术流程分析的巨大潜力。
引用
@article{arxiv.2604.20574,
title = {Where are they looking in the operating room?},
author = {Keqi Chen and Séraphin Baributsa and Lilien Schewski and Vinkle Srivastav and Didier Mutter and Guido Beldi and Sandra Keller and Nicolas Padoy},
journal= {arXiv preprint arXiv:2604.20574},
year = {2026}
}