Surgical SAM 2：通过高效帧剪枝实现手术视频中的实时任意分割

手术视频分割是计算机辅助手术中的一项关键任务，对于提升手术质量和患者预后至关重要。最近，Segment Anything Model 2 (SAM2) 框架在图像和视频分割方面展现了卓越的进步。然而，由于处理高分辨率图像以及手术视频中复杂且长程的时间动态信息需要高昂的计算需求，SAM2 在效率方面存在困难。为了解决这些挑战，我们引入了 Surgical SAM 2 (SurgSAM2)，这是一种利用 SAM2 并配备高效帧剪枝（EFP）机制的先进模型，旨在促进实时手术视频分割。EFP 机制通过动态管理记忆库，仅选择性地保留信息量最大的帧，从而减少内存使用和计算成本，同时保持高分割精度。我们广泛的实验表明，与原始的 SAM2 相比，SurgSAM2 显著提高了效率和分割精度。值得注意的是，SurgSAM2 的 FPS 达到了 SAM2 的 3 倍，同时在使用较低分辨率数据微调后，也提供了最先进的性能。这些进步使 SurgSAM2 成为手术视频分析的领先模型，使得在资源受限环境中进行实时手术视频分割成为现实。我们的源代码可在 https://github.com/jinlab-imvr/Surgical-SAM-2 获取。