面向医学图像图像到图像翻译的多特征韧性网络(MRNet)
图像与视频处理
2024-12-05 v1 人工智能
摘要
我们提出了一种名为多特征韧性网络(MRNet)的新型架构，用于医学图像到图像的翻译，在 MRI 到 CT 和 MRI 到 MRI 转换方面超越了当前最先进的方法。MRNet 利用分段模型(SAM)来利用频率特征构建一种先进的医学图像转换方法。该架构使用强大的 SAM 图像编码器从多样化数据集中提取全面的多尺度特征，并执行分辨率感知特征融合，将 U-Net 编码器输出与 SAM 派生特征持续集成。这种融合优化了传统 U-Net 的跳过连接，同时利用基于转换器的上下文分析。该翻译伴随一种创新的双掩码配置，包括动态注意力模式和旨在解决区域映射不匹配的专用损失函数，旨在保留粗大解剖结构和组织细节。广泛的验证研究表明，MRNet 在保持解剖忠实性和最小化翻译伪影方面优于当前最先进的架构。
引用
@article{arxiv.2412.03039,
title = {MRNet: Multifaceted Resilient Networks for Medical Image-to-Image Translation},
author = {Hyojeong Lee and Youngwan Jo and Inpyo Hong and Sanghyun Park},
journal= {arXiv preprint arXiv:2412.03039},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication