TriFusion-SR：联合三模态医学图像融合与超分辨率
计算机视觉与模式识别
2026-03-11 v1
摘要
多模态医学图像融合通过聚合互补的结构和功能信息来促进综合诊断，但其有效性受分辨率退化和模态差异的限制。现有方法通常在独立的阶段中执行图像融合和超分辨率（SR），导致人工和感知质量下降。这些局限性在将解剖模态（如MRI、CT）与功能扫描（如PET、SPECT）组合成三模态设置时进一步放大，due to显著的频率域不平衡。我们提出TriFusionSR，一个基于二维离散小波变换的条件扩散框架，用于联合三模态融合与超分辨率。该框架通过显式分解多模态特征到频率带，实现频率感知的跨模态交互。我们进一步引入了矩形小波特征（Rectified Wavelet Features, RWF）策略进行潜在系数校准，随后引入自适应空间-频率融合（Adaptive Spatial-Frequency Fusion, ASFF）模块，采用带门控的通道-空间注意力机制，以实现结构驱动的多模态细化。广泛的实验结果表明，方法在多个上采样尺度上实现了4.8-12.4%的PSNR提升，并显著降低了RMSE和LPIPS。
引用
@article{arxiv.2603.09702,
title = {TriFusion-SR: Joint Tri-Modal Medical Image Fusion and SR},
author = {Fayaz Ali Dharejo and Sharif S. M. A. and Aiman Khalil and Nachiket Chaudhary and Rizwan Ali Naqvi and Radu Timofte},
journal= {arXiv preprint arXiv:2603.09702},
year = {2026}
}