用于手术动作识别的自蒸馏方法
计算机视觉与模式识别
2023-03-24 v1 机器学习
摘要
手术场景理解是手术室中情境感知决策支持的关键前提。尽管基于深度学习的方法已在多个领域达到甚至超越人类表现，但手术动作识别任务仍是一项重大挑战。在此工作中，我们首次研究自蒸馏这一概念，将其作为解决手术视频分析中类不平衡和潜在标签模糊性的手段。我们提出的方法是一个由三个模型组成的异构集成，以 Swin Transformers 为骨干，并以自蒸馏和多任务学习为核心设计选择。根据使用 CholecT45 挑战数据通过交叉验证进行的消融研究，最大的性能提升来自使用自蒸馏获得的软标签。我们通过向挑战组织者提供推理模型的 Docker 容器，在独立测试集上对我们的方法进行了外部验证。根据他们的分析，我们的方法优于提交给该领域最新挑战的所有其他方案。因此，我们的方法展示了自蒸馏成为医学图像分析应用中重要工具的潜力。
引用
@article{arxiv.2303.12915,
title = {Self-distillation for surgical action recognition},
author = {Amine Yamlahi and Thuy Nuong Tran and Patrick Godau and Melanie Schellenberg and Dominik Michael and Finn-Henri Smidt and Jan-Hinrich Noelke and Tim Adler and Minu Dietlinde Tizabi and Chinedu Nwoye and Nicolas Padoy and Lena Maier-Hein},
journal= {arXiv preprint arXiv:2303.12915},
year = {2023}
}