基于缺失模态补偿的改进 mmFormer 用于肝纤维化分期
计算机视觉与模式识别
2025-09-23 v1
摘要
在真实临床环境中，由于设备差异或患者配合度问题，磁共振成像（MRI）常出现模态缺失现象，这会显著影响模型性能。为解决此问题，我们提出了一种基于 mmFormer 架构的多模态 MRI 分类模型，该模型带有自适应模块以处理任意缺失模态组合。具体而言，该模型保留了 mmFormer 中的混合特定模态编码器和模态相关编码器，以在可用模态间提取一致的病灶特征。此外，我们集成了一个缺失模态补偿模块，该模块利用零填充、模态可用性掩码以及带有可学习统计参数的 Delta 函数，动态合成代理特征以恢复缺失信息。为进一步提升预测性能，我们采用交叉验证集成策略，在不同折上训练多个模型，并在推理期间应用软投票。该方法在综合分析与真实世界医学图像计算（CARE）2025 挑战赛的测试集上进行了评估，目标任务是基于非对比动态 MRI 扫描（包括 T1 加权成像（T1WI）、T2 加权成像（T2WI）和弥散加权成像（DWI））的肝纤维化分期（LiFS）。对于同分布设备上的肝硬化检测和显著纤维化检测，我们的模型分别获得了 66.67% 和 74.17% 的准确率，以及相应的曲线下面积（AUC）分数 71.73% 和 68.48%。
引用
@article{arxiv.2509.16436,
title = {Improved mmFormer for Liver Fibrosis Staging via Missing-Modality Compensation},
author = {Zhejia Zhang and Junjie Wang and Le Zhang},
journal= {arXiv preprint arXiv:2509.16436},
year = {2025}
}