StudyFormer：基于注意力与动态多视图的 X 射线图像分类器
计算机视觉与模式识别
2023-02-24 v1 人工智能
机器学习
摘要
胸部 X 射线图像常用于医学诊断，且已有 AI 模型被开发以辅助解读这些图像。然而，许多此类模型依赖来自 X 射线单一视图的信息，而实际上可能存在多个视图。本文中，我们提出一种组合多视图信息以提升 X 射线图像分类性能的新方法。我们的方法基于使用卷积神经网络从各视图提取特征图，随后采用由 Vision Transformer 实现的注意力机制。所得模型能够对 41 个标签进行多标签分类，且优于单视图模型与传统多视图分类架构。我们通过在包含 363,000 张 X 射线图像的数据集上的实验证明了方法的有效性。
引用
@article{arxiv.2302.11840,
title = {StudyFormer : Attention-Based and Dynamic Multi View Classifier for X-ray images},
author = {Lucas Wannenmacher and Michael Fitzke and Diane Wilson and Andre Dourson},
journal= {arXiv preprint arXiv:2302.11840},
year = {2023}
}