基于自监督预文本学习和时序自注意力机制的实时视频多肠息肉分割方法
计算机视觉与模式识别
2024-06-17 v1 人工智能
多媒体
摘要
息肉是早期癌症的指标，因此评估息肉的发生情况及其移除情况至关重要。它们通过结肠镜筛查程序观察到，该程序生成一系列视频帧。对息肉进行其自然视频筛查程序中的分割存在若干挑战，如成像伪影、运动模糊和漂浮碎屑的共存。大多数现有的息肉分割算法是在表示真实世界结肠镜的精选静止图像数据集上开发的，其性能在视频数据上常常会下降。我们提出一种视频息肉分割方法，该方法在辅助任务中进行自监督学习，并针对表示学习引入空间-时间自注意力机制以获得更好的表征。我们的端到端配置和联合损失优化使网络能够在视频中学习更具辨别力的上下文特征。我们的实验结果表明，相对于多个最先进 (SOTA) 方法，本方法具有改进。我们的消融研究也确认，所提出的联合端到端训练方式选择对网络准确率的提升超过 3%，在 Dice 相似系数和交并比上分别相对于最近提出的方法 PNS+ 和 Polyp-PVT 接近 10%。在之前未见过的视频数据上的结果表明，所提出的方法具有普适性。
引用
@article{arxiv.2406.10200,
title = {SSTFB: Leveraging self-supervised pretext learning and temporal self-attention with feature branching for real-time video polyp segmentation},
author = {Ziang Xu and Jens Rittscher and Sharib Ali},
journal= {arXiv preprint arXiv:2406.10200},
year = {2024}
}
备注
12 pages