InvCoSS：基于 inversion 驱动的医学多模态图像预训练持续自监督学习

医学成像的持续自监督学习 (CSSL) 通过顺序训练基础模型来缓解收集多模态图像进行联合训练的需求，同时在保持数据隐私的前提下为下游任务带来有前景的性能提升。然而，大多数现有方法仍依赖重放先前阶段的数据以防止灾难性遗忘，这在数据跨站点受限的实际场景中削弱了隐私并限制了适用性。本文提出 InvCoSS，一种针对医学多模态图像预训练的 inversion 驱动持续自监督学习框架。具体而言，在训练于先前任务后，InvCoSS 通过逆转预训练的自监督模型生成逼近原始训练分布的合成图像。这些合成图像随后与新任务的数据合并进行联合优化，从而有效缓解灾难性遗忘，同时严格遵循不访问先前真实数据的约束。进一步为提高合成图像的保真度，我们引入了具备多尺度融合架构的 novel InvUNet，用于恢复逆转图像的高频与低频成分。为增强多样性并防止模式坍缩，我们设计了一种反力表征学习机制，鼓励合成图像在无类别指导下拥有多样化的特征空间。九个下游任务的广泛实验验证了 InvCoSS 的有效性，实现了与或优于先前数据重放方法相当的性能，同时显著降低存储需求，消除数据隐私约束。