PS-DeVCEM：基于弱标注数据的病理敏感视频胶囊内镜深度学习模型
计算机视觉与模式识别
2020-11-30 v1 机器学习
摘要
我们提出一种新颖的病理敏感深度学习模型(PS-DeVCEM)，用于视频胶囊内镜(VCE)数据中不同结肠疾病的帧级异常检测与多标签分类。我们所提模型能够应对由多种疾病引起的结肠表观异质性这一关键挑战。模型由基于注意力的深度多示例学习驱动，并使用视频标签而非详细的逐帧标注在弱标注数据上端到端训练。空间与时间特征分别通过ResNet50与残差长短期记忆(residual LSTM)模块获取。此外，所学时间注意力模块给出了各帧对最终标签预测的重要性。我们还开发了一种自监督方法以最大化病理类别间的距离。通过定性与定量实验，我们证明所提弱监督学习模型的精度与F1-score分别达到61.6%和55.1%，优于三种最先进的视频分析方法。我们也展示了模型在训练无需帧标注信息的情况下对病理帧进行时间定位的能力。此外，我们收集并标注了首个也是最大的仅含视频标签的VCE数据集。该数据集包含455个短视频段、28,304帧以及14类结直肠疾病与伪影。支持本论文的数据集与代码将在我们的主页上提供。
引用
@article{arxiv.2011.12957,
title = {PS-DeVCEM: Pathology-sensitive deep learning model for video capsule endoscopy based on weakly labeled data},
author = {A. Mohammed and I. Farup and M. Pedersen and S. Yildirim and Ø Hovde},
journal= {arXiv preprint arXiv:2011.12957},
year = {2020}
}