基于 Swin Transformer 与显著性图的内镜分类模型
图像与视频处理
2023-03-14 v1 计算机视觉与模式识别
摘要
内镜是结肠癌早期诊断的重要工具。然而，它需要内镜医师的专业知识且耗时。本工作中，我们提出一种新的多标签分类方法，从局部与全局视图两种学习角度考虑，用于内镜图像分类。该模型由一个 Swin transformer 分支和一个作为 CNN 分支的改进 VGG16 模型组成。为辅助 CNN 分支的学习过程，模型采用显著性图与内镜图像并将其拼接。结果表明，该方法通过利用图像的局部与全局特征，在内镜医学图像上表现良好。此外，定量评估证明了所提方法优于现有最优（SOTA）工作。
引用
@article{arxiv.2303.06736,
title = {Endoscopy Classification Model Using Swin Transformer and Saliency Map},
author = {Zahra Sobhaninia and Nasrin Abharian and Nader Karimi and Shahram Shirani and Shadrokh Samavi},
journal= {arXiv preprint arXiv:2303.06736},
year = {2023}
}
备注
5 pages, 3 figures