SAM-I2I：释放 Segment Anything Model 在医学图像转换中的能力
图像与视频处理
2024-11-21 v1 计算机视觉与模式识别
摘要
医学图像转换对于减少临床领域中冗余且昂贵的多模态成像需求至关重要。然而，当前基于卷积神经网络（CNN）和 Transformer 的方法往往无法捕捉细粒度的语义特征，导致图像质量欠佳。为应对这一挑战，我们提出了 SAM-I2I，一种基于 Segment Anything Model 2 (SAM2) 的全新图像到图像转换框架。SAM-I2I 利用预训练的图像编码器从源图像中提取多尺度语义特征，并使用基于掩码单元注意力模块的解码器合成目标模态图像。我们在多对比度 MRI 数据集上的实验表明，SAM-I2I 优于现有方法，提供了更高效、更准确的医学图像转换。
引用
@article{arxiv.2411.12755,
title = {SAM-I2I: Unleash the Power of Segment Anything Model for Medical Image Translation},
author = {Jiayu Huo and Sebastien Ourselin and Rachel Sparks},
journal= {arXiv preprint arXiv:2411.12755},
year = {2024}
}