YONA:仅需一帧相邻参考帧即可实现准确快速的视频息肉检测
计算机视觉与模式识别
2023-08-01 v2
摘要
准确的息肉检测对于辅助临床直肠癌诊断至关重要。结肠镜视频比静态图像包含更丰富的信息,使其成为深度学习方法的有价值资源。人们已付出巨大努力通过多帧时间/空间聚合来进行视频息肉检测。然而,与常见的固定摄像机视频不同,结肠镜视频中的摄像机移动场景会导致快速的视频抖动,造成现有视频检测模型训练的不稳定。此外,某些息肉的隐蔽性质与复杂的背景环境进一步阻碍了现有视频检测器的性能。本文中,我们提出 \textbf{YONA} (\textbf{Y}ou \textbf{O}nly \textbf{N}eed one \textbf{A}djacent Reference-frame) 方法,一种用于视频息肉检测的高效端到端训练框架。YONA 充分利用前一相邻帧的信息,并在当前帧上进行息肉检测,无需多帧协作。具体而言,对于前景,YONA 根据其前景相似度将当前帧的通道激活模式与其相邻参考帧自适应对齐。对于背景,YONA 在帧间差异引导下进行的背景动态对齐,以消除剧烈空间抖动产生的无效特征。此外,YONA 在训练期间应用跨帧对比学习,利用真值边界框提升模型对息肉与背景的感知。在三个公开挑战性基准上的定量与定性实验表明,我们提出的 YONA 在准确率和速度上均大幅优于先前最先进的竞争对手。
引用
@article{arxiv.2306.03686,
title = {YONA: You Only Need One Adjacent Reference-frame for Accurate and Fast Video Polyp Detection},
author = {Yuncheng Jiang and Zixun Zhang and Ruimao Zhang and Guanbin Li and Shuguang Cui and Zhen Li},
journal= {arXiv preprint arXiv:2306.03686},
year = {2023}
}
备注
11 pages, 3 figures