基于Transformer的无线掏取球囊出血组织检测与分类
计算机视觉与模式识别
2024-12-30 v1
摘要
受Transformer模型在各种计算机视觉任务中取得成功的启发，我们设计了一个用于自动检测和分类从无线掏取球囊（WCE）视频中提取的出血与非出血帧的端到端可训练模型。基于DETR模型，该模型使用Resnet50进行特征提取，采用transformer编码器-解码器进行出血与非出血区域检测，并使用前馈神经网络进行分类。该模型在Auto-WCEBleedGen Version 1挑战训练集上进行端到端训练，作为单个单元完成检测和分类任务。我们的模型在Auto-WCEBleedGen version 1验证集上实现了98.28%的准确率、96.79%的召回率和98.37%的F1-score分类百分比得分。进一步，我们记录了在0.5阈值下的平均精度（AP @ 0.5）和平均平均精度（mAP）分别为0.7447和0.7328的检测结果。这为我们在该挑战中获得了第三名成绩。我们的代码已通过 https://github.com/BasitAlawode/WCEBleedGen 公开。
关键词
引用
@article{arxiv.2412.19218,
title = {Transformer-Based Wireless Capsule Endoscopy Bleeding Tissue Detection and Classification},
author = {Basit Alawode and Shibani Hamza and Adarsh Ghimire and Divya Velayudhan},
journal= {arXiv preprint arXiv:2412.19218},
year = {2024}
}