用于脑龄估计的全局-局部 Transformer
计算机视觉与模式识别
2021-09-14 v1 图像与视频处理
摘要
深度学习可基于脑磁共振成像(MRI)实现快速的脑龄估计。然而,大多数研究使用一个神经网络从整张输入图像中提取全局信息,忽略了局部的细粒度细节。本文中,我们提出一种全局-局部 transformer,其由一条从整张输入图像提取全局上下文信息的全局通路,以及一条从局部图像块提取局部细粒度细节的局部通路组成。受 transformer 启发,来自局部图像块的细粒度信息通过注意力机制与全局上下文信息相融合,以估计脑龄。我们在 8 个公共数据集上评估所提方法,共包含 8,379 张健康脑 MRI,年龄范围为 0–97 岁。其中 6 个数据集用于交叉验证,2 个数据集用于评估泛化性。与其他 SOTA 方法相比,所提全局-局部 transformer 将估计年龄的平均绝对误差降至 2.70 年,并将估计年龄与实际年龄的相关系数提升至 0.9853。此外,我们的方法提供了哪些局部图像块对脑龄估计最具信息量的区域信息。我们的源代码可在:\url{https://github.com/shengfly/global-local-transformer} 获取。
引用
@article{arxiv.2109.01663,
title = {Global-Local Transformer for Brain Age Estimation},
author = {Sheng He and P. Ellen Grant and Yangming Ou},
journal= {arXiv preprint arXiv:2109.01663},
year = {2021}
}
备注
To appear: IEEE Transactions on Medical Imaging