用于视频息肉分割的渐进归一化自注意力网络
计算机视觉与模式识别
2024-02-20 v2
摘要
现有的视频息肉分割（VPS）模型通常采用卷积神经网络（CNNs）提取特征。然而，由于其有限的感受野，CNNs 无法充分利用连续视频帧中的全局时间与空间信息，导致假阳性分割结果。本文提出新颖的 PNS-Net（渐进归一化自注意力网络），其能以实时速度（约140fps，在单块 RTX 2080 GPU 上且无后处理）从息肉视频中高效学习表征。我们的 PNS-Net 仅基于一个基础的归一化自注意力块，完全摒弃了循环与 CNNs。在具有挑战性的 VPS 数据集上的实验表明，所提 PNS-Net 达到了最先进性能。我们还进行了大量实验以研究通道分割、软注意力与渐进学习策略的有效性。我们发现 PNS-Net 在不同设置下均表现良好，使其成为 VPS 任务的一种有前景的解决方案。
引用
@article{arxiv.2105.08468,
title = {Progressively Normalized Self-Attention Network for Video Polyp Segmentation},
author = {Ge-Peng Ji and Yu-Cheng Chou and Deng-Ping Fan and Geng Chen and Huazhu Fu and Debesh Jha and Ling Shao},
journal= {arXiv preprint arXiv:2105.08468},
year = {2024}
}
备注
MICCAI 2021 (Provisional accept); Code: https://github.com/GewelsJI/PNS-Net