FermatSyn:基于 SAM2 增强的双向 Mamba 螺旋扫描用于多模态医学图像合成
图像与视频处理
2026-03-02 v3 计算机视觉与模式识别
摘要
多模态医学图像合成对于缓解临床数据稀缺性至关重要,但现有方法无法在全局解剖一致性与高保真局部细节之间取得平衡。我们提出 FermatSyn,旨在解决三个持续存在的局限性:(1) 基于 SAM2 的先验编码器通过 Lo-RA 有效微调冻结的 SAM2 视觉变换器,注入领域感知的解剖知识;(2) 层次残差下采样模块(HRDM)搭配跨尺度集成网络(CIN),保留高频病灶细节并自适应融合全局-局部表征;(3) 在双向 Fermat 扫描 Mamba(BFS-Mamba)中实现连续受限的 Fermat 螺旋扫描策略,构建近似各向同性的感受野,显著减少光栅或螺旋序列化的方向偏差。在 SynthRAD2023、BraTS2019、BraTS-MEN 和 BraTS-MET 数据集上的实验表明,FermatSyn 在 PSNR、SSIM、FID 和 3D 结构一致性指标上超越了最新方法。下游分割在合成图像上的结果与真实图像训练无显著差异(),确认了临床实用性。代码将在论文发布后开源。\keywords{医学图像合成 \and SAM2 \and Mamba \and Fermat 螺旋扫描 \and 解剖先验 \and 跨模态}
引用
@article{arxiv.2505.07687,
title = {FermatSyn: SAM2-Enhanced Bidirectional Mamba with Isotropic Spiral Scanning for Multi-Modal Medical Image Synthesis},
author = {Feng Yuan},
journal= {arXiv preprint arXiv:2505.07687},
year = {2026}
}
备注
MICCAI 2026(under view)