SALI：用于结肠镜视频多边形分割的短期对齐与长期相互作用网络
计算机视觉与模式识别
2024-06-21 v1
摘要
结肠镜视频在直肠癌诊断中提供更丰富的多边形分割信息。然而，内镜的快速移动和近距离观察导致当前方法在大范围空间不一致性和持续低质量帧方面存在局限，从而影响分割精度。为此，我们聚焦通过增强相邻特征一致性和重建可靠的多边形表征来实现稳健的视频多边形分割。为此，本文提出SALI网络，作为短期对齐模块（SAM）和长期相互作用模块（LIM）的混合体。SAM通过可变形卷积学习相邻帧的空间对齐特征，并进一步对其进行调和，以捕获更稳定的短期多边形表征。对于低质量帧，LIM将历史多边形表征存储为长期记忆库，并探索逆向关系以交互式重建当前分割更可靠的多边形特征。将SAM与LIM组合后，SALI网络在视频分割方面对空间变化和低质量视觉线索表现出极佳的鲁棒性。在大型基准数据集SUNSEG上验证，SALI相对于当前最先进的方法，通过分别提高四个测试子集的Dice系数提升了2.1%、2.5%、4.1%和1.9%。代码地址：https://github.com/Scatteredrain/SALI。
引用
@article{arxiv.2406.13532,
title = {SALI: Short-term Alignment and Long-term Interaction Network for Colonoscopy Video Polyp Segmentation},
author = {Qiang Hu and Zhenyu Yi and Ying Zhou and Fang Peng and Mei Liu and Qiang Li and Zhiwei Wang},
journal= {arXiv preprint arXiv:2406.13532},
year = {2024}
}
备注
Accepted to MICCAI 2024. Code and models: https://github.com/Scatteredrain/SALI