用于持续医学图像分割的低秩混合专家模型
计算机视觉与模式识别
2024-06-21 v1
摘要
医学图像分割持续学习（CL）任务的主要目标是解决“灾难性遗忘”问题，即当模型扩展到新类别（类别级）或新任务（任务级）时，会完全忘记先前学习的特征。由于隐私保护，历史数据标签不可访问。主流持续学习方法主要聚焦生成旧数据集的伪标签以强制模型记忆已学习特征。然而，错误的伪标签可能损坏已学习的特征，导致新问题：模型在旧任务上训练得越好，新任务的性能越差。为避免此问题，我们提出一种网络结构，引入数据特定的混合专家（MoE）结构以处理新任务或类别，确保旧任务的网络参数不受影响或仅受最小影响。为进一步克服因引入额外结构而导致的巨大内存开销，我们提出一种低秩策略显著降低内存成本。我们在类别级和任务级持续学习挑战上进行了验证。多个数据集上的广泛实验表明，我们的模型超越了所有其他方法。
引用
@article{arxiv.2406.13583,
title = {Low-Rank Mixture-of-Experts for Continual Medical Image Segmentation},
author = {Qian Chen and Lei Zhu and Hangzhou He and Xinliang Zhang and Shuang Zeng and Qiushi Ren and Yanye Lu},
journal= {arXiv preprint arXiv:2406.13583},
year = {2024}
}