TabAttention：基于表格数据条件式学习的注意力机制
图像与视频处理
2023-10-30 v1
摘要
医学数据分析常结合影像与表格数据，并使用机器学习算法进行处理。虽然先前研究考察了注意力机制对深度学习模型的影响，但很少探索将注意力模块与表格数据相整合。本文中，我们提出 TabAttention，一种新颖的模块，它通过一种以表格数据为条件训练的注意力机制来增强卷积神经网络（CNNs）的性能。具体而言，我们将卷积块注意力模块扩展到 3D，增加一个利用多头自注意力学习时间注意力图的时间注意力模块。此外，我们通过整合表格数据嵌入来增强所有注意力模块。我们的方法在胎儿出生体重（FBW）估计任务上得到验证，使用了 92 段胎儿腹部超声视频扫描及胎儿生物测量数据。我们的结果表明，TabAttention 优于临床医生及依赖表格和/或影像数据的现有 FBW 预测方法。这种新方法有望改进结合影像与表格数据的各类临床工作流中的计算机辅助诊断。我们在 https://github.com/SanoScience/Tab-Attention 提供了在 CNNs 中集成 TabAttention 的源代码。
引用
@article{arxiv.2310.18129,
title = {TabAttention: Learning Attention Conditionally on Tabular Data},
author = {Michal K. Grzeszczyk and Szymon Płotka and Beata Rebizant and Katarzyna Kosińska-Kaczyńska and Michał Lipa and Robert Brawura-Biskupski-Samaha and Przemysław Korzeniowski and Tomasz Trzciński and Arkadiusz Sitek},
journal= {arXiv preprint arXiv:2310.18129},
year = {2023}
}
备注
Accepted for the 26th International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI) 2023