基于 Swin Transformer 与 RT-DETR 的无线掏子内窥镜出血帧分类与检测的稳健管线
计算机视觉与模式识别
2024-06-13 v1 信号处理
摘要
本文提出了我们的方法用于 Auto WCEBleedGen 挑战 V2 2024。我们的解决方案将 Swin Transformer 用于出血帧的初始分类，随后使用 RT-DETR 对无线掏子内窥镜 (WCE) 中的出血进行检测，经过一系列图像预处理步骤增强。这些步骤包括将图像转换为 Lab 色彩空间、应用受限自适应直方图均衡 (CLAHE) 以获得更佳对比度，以及使用高斯模糊抑制伪影。Swin Transformer 利用具有偏移窗口的分层架构高效管理自注意力计算，聚焦于局部窗口同时实现跨窗口相互作用。RT-DETR 特点是高效的混合编码器用于快速处理多尺度特征，以及具有不确定性最小查询选择以提高准确性。通过 Ablation-CAM 的类激活图与模型决策一致。该方法在验证集上实现了 98.5% 的分类准确率（优于其他最先进模型的 91.7%），并实现了 66.7% 的 （相对于 65.0% 的 YOLOv8）。在测试集上，该方法实现了 87.0% 的分类准确率和 89.0% 的 F1 分数。
引用
@article{arxiv.2406.08046,
title = {A Robust Pipeline for Classification and Detection of Bleeding Frames in Wireless Capsule Endoscopy using Swin Transformer and RT-DETR},
author = {Sasidhar Alavala and Anil Kumar Vadde and Aparnamala Kancheti and Subrahmanyam Gorthi},
journal= {arXiv preprint arXiv:2406.08046},
year = {2024}
}