Flemme：面向医学图像的灵活模块化学习平台

随着计算机视觉的快速发展以及强大网络骨干和架构的出现，深度学习在医学成像中的应用日益重要。与自然图像不同，医学图像缺乏大量数据但具有更多模态，这使得训练一个在各种数据集上具有满意性能的通用模型变得困难。在实践中，从业者常常痛苦地手动创建和测试结合独立骨干和架构的模型。我们提出 Flemme，一个面向医学图像（FLExible and Modular learning platform for MEdical images）的灵活模块化学习平台。我们的平台将编码器与模型架构分离，使不同模型可以通过支持的各种编码器与架构的组合来构建。我们使用基于卷积、变换器和状态空间模型（SSM）的构建块构造编码器，以处理 2D 和 3D 图像块。基础架构遵循编码器-解码器风格实现，并衍生出若干用于图像分割、重建和生成任务的架构。此外，我们提出了一种结合金字塔损失以优化和融合垂直特征的通用分层架构。实验表明，这种简单设计使分割模型的 Dice 分数平均提升 5.60%、平均交并比（mIoU）提升 7.81%，使重建模型的峰值信噪比（PSNR）提升 5.57%、结构相似性（SSIM）提升 8.22%。我们进一步利用 Flemme 作为分析工具，评估不同编码器在不同任务上的有效性和效率。代码可在 https://github.com/wlsdzyzl/flemme 获取。