基于对比Transformer的多示例学习用于弱监督息肉帧检测
计算机视觉与模式识别
2022-05-19 v2
摘要
当前从结肠镜视频中检测息肉的方法仅使用正常（即健康）训练图像，这i)忽视了连续视频帧中时间信息的重要性，且ii)缺乏关于息肉的知识。因此，它们常有较高的检测误差，尤其在具有挑战性的息肉病例（如小、扁平或部分可见的息肉）上。在本工作中，我们将息肉检测表述为一个弱监督异常检测任务，利用视频级标注的训练数据来检测帧级息肉。具体而言，我们提出了一种新颖的基于卷积Transformer的多示例学习方法，旨在从异常视频（即包含至少一帧息肉的视频）中识别异常帧（即含息肉的帧）。在我们的方法中，局部和全局时间依赖被无缝捕获，同时我们联合优化视频和片段级异常分数。还提出了一种对比片段挖掘方法，以实现对具有挑战性的息肉病例的有效建模。所得方法在本工作引入的一个新的大规模结肠镜视频数据集上取得了显著优于当前最先进方法的检测精度。
引用
@article{arxiv.2203.12121,
title = {Contrastive Transformer-based Multiple Instance Learning for Weakly Supervised Polyp Frame Detection},
author = {Yu Tian and Guansong Pang and Fengbei Liu and Yuyuan Liu and Chong Wang and Yuanhong Chen and Johan W Verjans and Gustavo Carneiro},
journal= {arXiv preprint arXiv:2203.12121},
year = {2022}
}
备注
MICCAI 2022 Early Accept