基于时空特征变换的多帧协作有效内镜视频息肉检测
计算机视觉与模式识别
2021-07-09 v1
摘要
息肉的精准定位对胃肠内镜早期癌症筛查至关重要。内镜提供的视频比静态图像带来更丰富的上下文信息，也带来更多挑战。相机移动（而非常见的相机固定-物体移动）情形导致帧间背景显著变化。严重的内部伪影（如人体内水流、组织镜面反射）可使相邻帧质量差异明显。这些因素阻碍基于视频的模型有效聚合邻帧特征并给出更优预测。本文提出时空特征变换（STFT），一种多帧协作框架以解决上述问题。空间上，STFT通过提议引导的可变形卷积进行特征对齐，缓解相机移动情形下的帧间差异。时间上，STFT提出通道感知注意力模块，同时估计相邻帧的质量与相关度以进行自适应特征聚合。实证研究与优越结果证明了本方法的有效性与稳定性。例如，在CVC-Clinic与ASUMayo数据集的息肉定位任务综合F1分数上，STFT分别比静态图像基线FCOS提升10.6%与20.6%，并分别超越最先进视频方法3.6%与8.0%。代码见 \url{https://github.com/lingyunwu14/STFT}。
引用
@article{arxiv.2107.03609,
title = {Multi-frame Collaboration for Effective Endoscopic Video Polyp Detection via Spatial-Temporal Feature Transformation},
author = {Lingyun Wu and Zhiqiang Hu and Yuanfeng Ji and Ping Luo and Shaoting Zhang},
journal= {arXiv preprint arXiv:2107.03609},
year = {2021}
}
备注
Accepted by MICCAI2021