中文

SDR-Former:用于基于 3D 多期成像肝脏病变分类的孪生双分辨率 Transformer

图像与视频处理 2024-02-28 v1 计算机视觉与模式识别 机器学习

摘要

多期 CT 和 MR 扫描中肝脏病变的自动分类具有临床意义但充满挑战。本研究提出了一种新颖的孪生双分辨率 Transformer(SDR-Former)框架,专为具有不同期数的 3D 多期 CT 和 MR 成像中的肝脏病变分类而设计。提出的 SDR-Former 利用简化的孪生神经网络(SNN)处理多期成像输入,在保持计算效率的同时拥有鲁棒的特征表示。SNN 的权重共享特性通过混合双分辨率 Transformer(DR-Former)得到进一步增强,后者包含一个 3D 卷积神经网络(CNN)和一个定制的 3D Transformer,分别用于处理高分辨率和低分辨率图像。这种混合子架构擅长捕捉详细的局部特征并理解全局上下文信息,从而提升了 SNN 的特征提取能力。此外,引入了一种新颖的自适应期相选择模块(APSM),促进特定于期相的相互通信,并动态调整每个期相对诊断结果的影响。提出的 SDR-Former 框架已在两个临床数据集上通过综合实验进行了验证:一个三期 CT 数据集和一个八期 MR 数据集。实验结果肯定了所提框架的有效性。为了支持科学界,我们将广泛的用于肝脏病变分析的多期 MR 数据集向公众发布。作为该领域首个公开可用的多期 MR 数据集,这一开创性数据集也支撑了 MICCAI LLD-MMRI 挑战赛。数据集访问地址:https://bit.ly/3IyYlgN。

关键词

引用

@article{arxiv.2402.17246,
  title  = {SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion Classification Using 3D Multi-Phase Imaging},
  author = {Meng Lou and Hanning Ying and Xiaoqing Liu and Hong-Yu Zhou and Yuqing Zhang and Yizhou Yu},
  journal= {arXiv preprint arXiv:2402.17246},
  year   = {2024}
}

备注

13 pages, 7 figures