用于长胶囊内窥镜视频中弱监督异常定位的图卷积神经网络
计算机视觉与模式识别
2021-10-19 v1 人工智能
摘要
长视频中的时序活动定位是一个重要问题。为长无线胶囊内窥镜（WCE）视频获取帧级标签的成本过高。在本文中，我们提出了一种仅使用弱视频级标签对长 WCE 视频进行端到端时序异常定位的方法。医生使用胶囊内窥镜（CE）作为一种非手术、非侵入性的方法来检查整个消化道，以诊断疾病或异常。虽然 CE 彻底改变了传统内窥镜检查程序，但单次 CE 检查可能长达 8 小时，产生多达 100,000 帧。医生必须逐帧查看整个视频，以识别捕捉到相关异常的帧。有时，这可能少至仅一帧。鉴于这种极高的冗余度，分析长 CE 视频可能非常繁琐、耗时且容易出错。本文提出了一种新颖的多步方法，仅使用弱视频标签对长视频中捕捉到感兴趣异常的目标帧进行端到端定位。首先，我们利用变点检测技术开发了一种自动时序分割方法，将视频在时序上分割为均匀、同质且可识别的片段。然后，我们采用图卷积神经网络（GCNN）来学习每个视频片段的表示。使用弱视频片段标签，我们训练 GCNN 模型将每个包含至少一帧异常帧的视频片段识别为异常。最后，利用训练好的 GCNN 模型的参数，我们将网络的最后一层替换为时序池化层，以在每个异常视频片段内定位相关的异常帧。我们的方法在图分类任务上达到了 89.9% 的准确率，在异常帧定位任务上达到了 97.5% 的特异性。
引用
@article{arxiv.2110.09110,
title = {Graph Convolution Neural Network For Weakly Supervised Abnormality Localization In Long Capsule Endoscopy Videos},
author = {Sodiq Adewole and Philip Fernandes and James Jablonski and Andrew Copland and Michael Porter and Sana Syed and Donald Brown},
journal= {arXiv preprint arXiv:2110.09110},
year = {2021}
}