用于手术阶段识别的自知识蒸馏
图像与视频处理
2023-06-16 v1 计算机视觉与模式识别
摘要
目的：手术阶段识别的进展通常由训练更深的网络引领。我们认为当前模型可被更好地利用，而非采用更复杂的方案。我们提出一种自知识蒸馏框架，可集成到当前最优（SOTA）模型中，且无需为模型或标注增加任何额外复杂度。方法：知识蒸馏是一种网络正则化框架，将知识从教师网络蒸馏至学生网络。在自知识蒸馏中，学生模型成为教师，使网络从自身学习。大多数阶段识别模型遵循编码器-解码器框架。我们的框架在两个阶段均利用自知识蒸馏。教师模型引导学生模型的训练过程，从编码器提取增强的特征表示，并构建更鲁棒的时间解码器以应对过分割问题。结果：我们在公开数据集Cholec80上验证所提框架。该框架嵌入四种流行SOTA方法之上并一致提升其性能。具体而言，我们最佳的GRU模型相较同一基线模型精度提升+3.33%、F1分数提升+3.95%。结论：我们首次将自知识蒸馏框架嵌入手术阶段识别训练流程。实验结果表明这一简单而强大的框架可提升现有阶段识别模型性能。此外，大量实验表明即便仅使用75%训练集，我们仍可达到与全量训练集训练的同一基线模型相当的性能。
引用
@article{arxiv.2306.08961,
title = {Self-Knowledge Distillation for Surgical Phase Recognition},
author = {Jinglu Zhang and Santiago Barbarisi and Abdolrahim Kadkhodamohammadi and Danail Stoyanov and Imanol Luengo},
journal= {arXiv preprint arXiv:2306.08961},
year = {2023}
}