使用具有选择性交叉注意力机制和特征校准的视觉Transformer进行脑肿瘤分类
图像与视频处理
2024-11-27 v2 计算机视觉与模式识别
摘要
脑肿瘤分类是医学图像分析中的一项挑战性任务。在本文中，我们提出了一种新颖的脑肿瘤分类方法，该方法使用具有新颖交叉注意力机制的视觉Transformer。我们的方法利用了Transformer在建模长程依赖和多尺度特征融合方面的优势。我们引入了两种新机制来提高交叉注意力融合模块的性能：特征校准机制（FCM）和选择性交叉注意力（SCA）。FCM校准来自不同分支的特征使其更兼容，而SCA则选择性地关注最具信息量的特征。我们的实验表明，所提出的方法在脑肿瘤分类中优于其他最先进的方法，实现了更高的精度和效率。所提出的FCM和SCA机制可以轻松集成到其他视觉Transformer架构中，使其成为医学图像分析未来研究的一个有前景的方向。实验结果证实，我们的方法超越了现有方法，在脑肿瘤分类任务中达到了最先进的性能。
引用
@article{arxiv.2406.17670,
title = {Brain Tumor Classification using Vision Transformer with Selective Cross-Attention Mechanism and Feature Calibration},
author = {Mohammad Ali Labbaf Khaniki and Marzieh Mirzaeibonehkhater and Mohammad Manthouri and Elham Hasani},
journal= {arXiv preprint arXiv:2406.17670},
year = {2024}
}