LesionAid：基于视觉Transformer的皮肤病变生成与分类
计算机视觉与模式识别
2023-02-03 v1 人工智能
摘要
皮肤癌是人类最常见的癌症之一。其识别主要依赖视觉手段，从临床筛查开始，继以皮肤镜检、组织学评估和标本采集。深度卷积神经网络（CNN）在面对分类的细粒度对象时，可执行高度分离且潜在通用的任务。本研究提出一种基于ViT和ViTGAN的新型多类预测框架，用于皮肤病变分类。基于视觉Transformer的GAN（Generative Adversarial Networks，生成对抗网络）被用于解决类别不平衡问题。该框架包含四个主要阶段：ViTGAN、图像处理、可解释AI。阶段1生成合成图像以平衡数据集中所有类别。阶段2应用不同的数据增强技术与形态学操作以增加数据规模。阶段3和阶段4涉及开发用于边缘计算系统的ViT模型，该模型能从图像中用户可见的皮肤识别模式并分类皮肤病变。在阶段3中，使用ViT将病变分类至目标类别后，我们将采用可解释AI（XAI）以得出更具可解释性的结果（如使用激活图等），同时确保高预测精度。皮肤疾病的实时图像可由医生或患者使用移动应用的摄像头捕获，以进行早期检查并确定皮肤病变成因。整个框架与现有的皮肤病变检测框架进行了比较。
引用
@article{arxiv.2302.01104,
title = {LesionAid: Vision Transformers-based Skin Lesion Generation and Classification},
author = {Ghanta Sai Krishna and Kundrapu Supriya and Mallikharjuna Rao K and Meetiksha Sorgile},
journal= {arXiv preprint arXiv:2302.01104},
year = {2023}
}