基于可解释视觉模型的视频中手术器械交接的事件级检测
计算机视觉与模式识别
2026-04-10 v1
摘要
可靠地监控手术器械的交换对于维持手术程序的效率和患者安全至关重要。自动检测手术器械交接在内科手术视频中仍具有挑战性 due to 频繁的遮挡、背景杂乱以及交互事件的时间演化本质。我们提出了一个用于手术视频中手术器械交接的事件级检测和方向分类的时空视觉框架。该模型将 Vision Transformer（ViT）用于空间特征提取，结合单向长短期记忆（LSTM）网络进行时间聚合。统一的多任务公式联合预测手术交接的发生与交互方向，使能够一致地建模传递动力学，同时避免级联管道中典型的误差传播。预测的置信度得分形成视频上的时序信号，从中通过峰检测识别离散的手术交接事件。在肾脏移植手术数据集上的实验表明，性能优异，手术交接检测的 F1 分数达到 0.84，方向分类的平均 F1 分数达到 0.72，优于单任务变体和 VideoMamba 基线进行方向预测，同时保持可比的检测性能。为提高可解释性，我们采用 Layer-CAM 归因来可视化驱动模型决策的空间区域，突出显示手臂-器械交互线索。
引用
@article{arxiv.2604.07577,
title = {Event-Level Detection of Surgical Instrument Handovers in Videos with Interpretable Vision Models},
author = {Katerina Katsarou and George Zountsas and Karam Tomotaki-Dawoud and Alexander Ehrenhoefer and Paul Chojecki and David Przewozny and Igor Maximilian Sauer and Amira Mouakher and Sebastian Bosse},
journal= {arXiv preprint arXiv:2604.07577},
year = {2026}
}
备注
12 Pages, 6 figures, CVPR 2026 Workshop AI4RWC