FOAA：用于多模态肿瘤分类的扁平化外算术注意力
计算机视觉与模式识别
2024-03-12 v1
摘要
多模态医疗数据的融合利用了不同模态间的互补性及其相关性，为提供患者健康状况的全局视图带来了巨大希望。本文受注意力机制启发，提出了一种简单有效的方法来融合来自不同模态的判别性特征。我们提出了一种新颖的注意力机制，称为扁平化外算术注意力（FOAA），它依赖于外算术运算符（加法、减法、乘法和除法），从每种模态扁平化嵌入导出的键、查询和值中计算注意力分数。我们展示了如何将FOAA实现为自注意力和交叉注意力，从而提供神经网络架构中可复用的组件。我们在两个多模态肿瘤分类数据集上对FOAA进行了评估，取得了SOTA结果，并证明了由FOAA丰富的特征优于从其他融合方法导出的特征。代码公开于\href{https://github.com/omniaalwazzan/FOAA}{https://github.com/omniaalwazzan/FOAA}。
引用
@article{arxiv.2403.06339,
title = {FOAA: Flattened Outer Arithmetic Attention For Multimodal Tumor Classification},
author = {Omnia Alwazzan and Ioannis Patras and Gregory Slabaugh},
journal= {arXiv preprint arXiv:2403.06339},
year = {2024}
}
备注
This paper has been accepted for ISBI-2024