基于距离度量学习与插值隐特征的内镜图像及视频部位分类
计算机视觉与模式识别
2021-08-23 v2 人工智能
摘要
常规内镜(CE)与无线胶囊内镜(WCE)是诊断胃肠道(GI)疾病已知的工具。检测胃肠道的解剖部位可帮助临床医生确定更合适的治疗方案,减少重复内镜检查,并且在药物递送中十分重要。目前极少有研究利用分类方法检测WCE与CE图像的解剖部位,主要原因在于数据收集与标注困难。在本研究中,我们提出一种基于距离度量学习的少样本学习方法,其结合迁移学习与流形混合(manifold mixup)策略来定位内镜帧,并可使用少量样本进行训练。流形混合过程通过增加训练轮数同时减少过拟合,以及提供更精确的决定边界,从而改进少样本学习。我们收集了人体胃肠道10个不同解剖位置的数据集。仅使用78帧CE与27帧WCE标注帧训练了两个模型,分别用于预测25700帧CE与1825帧WCE视频帧的位置。此外,我们邀请九名胃肠病学家进行主观评估,以表明拥有AI定位系统的必要性。我们进行了多种消融研究与解释,以展示各步骤的重要性,例如迁移学习方法的效果,以及流形混合对性能的影响。所提方法还与基于分类交叉熵损失训练的各种方法进行比较并取得更优结果,表明该方法有潜力用于内镜图像分类。
引用
@article{arxiv.2103.08504,
title = {Distance Metric-Based Learning with Interpolated Latent Features for Location Classification in Endoscopy Image and Video},
author = {Mohammad Reza Mohebbian and Khan A. Wahid and Anh Dinh and Paul Babyn},
journal= {arXiv preprint arXiv:2103.08504},
year = {2021}
}