长手术视频中活动识别的实证研究

手术视频中的活动识别是开发下一代设备与工作流监测系统的关键研究领域。由于手术是长度高度可变的长过程，用于手术视频的深度学习模型通常由使用骨干网络与时间序列模型的双阶段设置组成。本文中，我们研究了多种最先进骨干网络与时间模型，以寻找在手术活动识别上性能最强的架构。我们首先在一个包含800余段于多个临床手术室采集的手术视频的大规模活动识别数据集上基准测试模型性能。我们进一步在两个较小的公开数据集Cholec80与Cataract-101（分别仅含80和101段视频）上评估模型。我们通过实验发现Swin-Transformer+BiGRU时间模型在两个数据集上均取得强劲性能。最后，我们通过将模型微调至新医院并试验一种近期无监督域适应方法来考察模型对新领域的适应性。