基于实例打乱的 Vision Transformer 用于胰腺癌 ROSE 图像分类
图像与视频处理
2022-08-16 v1 计算机视觉与模式识别
摘要
快速现场评估（ROSE）技术可通过即时分析快速染色的细胞病理图像来显著加速胰腺癌的诊断。计算机辅助诊断（CAD）有潜力解决 ROSE 中病理医生短缺的问题。然而，不同样本间的癌变模式差异显著，使得 CAD 任务极具挑战性。此外，由于染色质量不同和采集设备类型多样，ROSE 图像在颜色分布、亮度和对比度方面存在复杂的扰动。为应对这些挑战，我们提出了一种基于实例打乱的 Vision Transformer（SI-ViT）方法，该方法可减少扰动并增强实例间的建模。利用重新分组的打乱实例包及其包级软标签，该方法采用回归头使模型聚焦于细胞而非各种扰动。同时，结合分类头，模型能有效识别不同实例间的通用分布模式。结果表明分类准确率显著提升且注意力区域更准确，说明 ROSE 图像的多样模式被有效提取，复杂扰动被显著降低。这也表明 SI-ViT 在分析细胞病理图像方面具有优异潜力。代码与实验结果见 https://github.com/sagizty/MIL-SI。
引用
@article{arxiv.2208.06833,
title = {Shuffle Instances-based Vision Transformer for Pancreatic Cancer ROSE Image Classification},
author = {Tianyi Zhang and Youdan Feng and Yunlu Feng and Yu Zhao and Yanli Lei and Nan Ying and Zhiling Yan and Yufang He and Guanglei Zhang},
journal= {arXiv preprint arXiv:2208.06833},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:2206.03080