不对称特征金字塔的时间传播用于手术场景分割
计算机视觉与模式识别
2025-04-21 v1
摘要
手术场景分割是机器人辅助腹腔手术理解的关键任务。当前方法面临两个挑战：（i）静态图像的局限性，包括模糊的局部特征相似性和细粒度结构细节；（ii）动态视频的复杂性，源于快速的仪器运动和持续的视觉遮挡。虽然现有方法主要关注空间特征提取，但从根本上忽略了手术视频流中的时间依赖性。为此，我们提出了时间不对称特征传播网络，一种双向注意力架构，实现跨帧特征传播。该方法包含一个整合多方向一致性约束以增强帧级特征表示的时间查询传播器，以及保存解剖结构和手术器械判别特征的聚合不对称特征金字塔模块。我们的框架独特地实现了手术场景理解的时序引导和上下文推理。全面评估显示，我们的方法在 EndoVis2018 和 Endoscapes2023 两个公开基准上均显著优于当前最先进方法，分别提升了 +16.4% mIoU 和 +3.3% mAP。代码将在论文接受后公开。
引用
@article{arxiv.2504.13440,
title = {Temporal Propagation of Asymmetric Feature Pyramid for Surgical Scene Segmentation},
author = {Cheng Yuan and Yutong Ban},
journal= {arXiv preprint arXiv:2504.13440},
year = {2025}
}