通过动态仿射特征图变换融合三维图像与表格数据
图像与视频处理
2021-09-24 v1 计算机视觉与模式识别
机器学习
摘要
先前基于脑磁共振图像诊断阿尔茨海默病的研究表明，卷积神经网络（CNNs）可利用高维图像信息对患者进行分类。然而，很少有研究关注这些模型如何利用通常低维的表格信息，如患者人口统计学或实验室测量值。我们引入动态仿射特征图变换（DAFT），一种用于 CNNs 的通用模块，它根据患者的表格临床信息动态重缩放并平移卷积层的特征图。我们表明 DAFT 在融合三维图像与表格信息进行诊断和痴呆发生时间预测方面极为有效，其平均平衡准确率为 0.622、平均 c-index 为 0.748，优于竞争的 CNNs。我们广泛的消融研究为 DAFT 的架构特性提供了有价值的见解。我们的实现可在 https://github.com/ai-med/DAFT 获取。
引用
@article{arxiv.2107.05990,
title = {Combining 3D Image and Tabular Data via the Dynamic Affine Feature Map Transform},
author = {Sebastian Pölsterl and Tom Nuno Wolf and Christian Wachinger},
journal= {arXiv preprint arXiv:2107.05990},
year = {2021}
}
备注
Accepted at 2021 International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI)