SAM-Med3D-MoE：基于混合专家模型实现无遗忘的 3D 医学图像分割
计算机视觉与模式识别
2024-07-15 v1
摘要
体积医学图像分割是提升疾病诊断、治疗规划以及推动医学研究不可或缺的技术。虽然已有的体积医学图像分割基座模型，如 SAM-Med3D 和 SegVol，在一般器官和肿瘤方面展现了卓越性能，但在临床下游任务中对某些类别的分割能力仍有限。监督微调 (SFT) 是适用于特定下游任务的有效方法，但会导致原有基座模型中存储的通用知识退化。为此，我们提出 SAM-Med3D-MoE，一种新型框架，通过无缝集成任务特定微调模型与基座模型，创建统一模型，仅需额外训练一个门控网络即可实现最小的额外训练开销。该门控网络结合选择策略，使统一模型既能保持原模型在各自任务中的性能，又能实现通用与专业任务的双重优化，而无需更新原有模型的任何参数。我们的实验结果表明，SAM-Med3D-MoE 在 15 个特定类别上实现了 Dice 分数从 53 提升至 56.4 的平均提升。尤其在脊髓、食管和右髋股骨上分别取得 29.6、8.5、11.2 的显著增益。此外，在具有挑战性的 SPPIN2023 挑战赛中达到 48.9 的 Dice 分数，显著超越了通用专家的 32.3。我们预计 SAM-Med3D-MoE 可作为医学图像分析中适用于特定领域的基座模型适配框架。代码与数据集将公开 disponible。
引用
@article{arxiv.2407.04938,
title = {SAM-Med3D-MoE: Towards a Non-Forgetting Segment Anything Model via Mixture of Experts for 3D Medical Image Segmentation},
author = {Guoan Wang and Jin Ye and Junlong Cheng and Tianbin Li and Zhaolin Chen and Jianfei Cai and Junjun He and Bohan Zhuang},
journal= {arXiv preprint arXiv:2407.04938},
year = {2024}
}