KA$^2$ER：用于医学图像分割的知识自适应专家融合
计算机视觉与模式识别
2024-10-29 v1
摘要
近期，许多用于医学图像分析的基础模型，如 MedSAM、SwinUNETR 等已被发布，并证明在多项任务中有效。然而，考虑到真实世界医学数据固有的异质性和不均匀性，将这些模型直接应用于特定的医学图像分割任务常常会导致负面的域偏移效应，这会严重削弱模型的分割能力。为此，我们提出了一种自适应融合知识框架，旨在训练一个通用的基础模型，以处理多个专家模型的联合目标，每个专家模型专精于一项不同的任务。具体来说，我们首先为每项任务训练一个基于 nnUNet 的专家模型，并重用预训练的 SwinUNTER 作为目标基础模型。然后，所有挑战性任务的输入数据分别在基础模型和专家模型中进行编码，它们的骨干特征被联合投影到自适应融合层中。在隐藏层内，设计了分层注意力机制以实现目标模型对所有专家隐藏层特征知识的自适应融合，这显著减少了由任务间差异引起的域偏移。最后，融合后的黄金特征和提示特征被送入掩码解码器以获得分割结果。在这些挑战性任务上进行的大量实验证明了我们的基础模型在真实世界医学图像分割中的有效性和适应性。
引用
@article{arxiv.2410.21085,
title = {KA$^2$ER: Knowledge Adaptive Amalgamation of ExpeRts for Medical Images Segmentation},
author = {Shangde Gao and Yichao Fu and Ke Liu and Hongxia Xu and Jian Wu},
journal= {arXiv preprint arXiv:2410.21085},
year = {2024}
}
备注
This paper has been accepted to MICCAI2024