ClassifyViStA：基于分割与注意力机制的 WCE 诊断分类
计算机视觉与模式识别
2024-12-25 v1
摘要
胃肠道出血是一种严重的医疗状况，在医疗资源有限的地区尤其面临诊断难题。无线掏取球囊内镜 (WCE) 已成为可视化胃肠道 tract 的强大诊断工具，但其需要由有经验的肠胃内科医生进行耗时的手动分析，这种做法容易出错且在患者数量不断增加的情况下效率低下。为此，我们提出 ClassifyViStA，一个针对 WCE 视频中出血与非出血帧的自动检测与分类的 AI 框架。该模型由标准分类路径增强，包含两个专门的分支：一个是隐式注意力分支和一个是分割分支。注意力分支聚焦于出血区域，而分割分支生成准确的分割掩码，这些掩码用于分类和可解释性。该模型基于 ResNet18 和 VGG16 的集成，以提升分类性能。对于出血区域检测，我们采用 YOLOv8 的软非最大抑制 (Soft NMS) 方法，以改善重叠边界框的处理，实现更准确、更细致的检测。通过使用分割掩码解释分类结果，增强了系统的可解释性，提供了类似肠胃内科医生识别出血区域的决策过程见解。我们的做法不仅自动化了胃肠道出血的检测，还提供了一个可解释的解决方案，可减轻医护人员的负担并提高诊断效率。我们的代码已在 ClassifyViStA 上提供。
引用
@article{arxiv.2412.18591,
title = {ClassifyViStA:WCE Classification with Visual understanding through Segmentation and Attention},
author = {S. Balasubramanian and Ammu Abhishek and Yedu Krishna and Darshan Gera},
journal= {arXiv preprint arXiv:2412.18591},
year = {2024}
}