基于多态 Transformer 的少样本域适应

在一组医学图像上训练的深度神经网络（DNNs）常因训练图像（源域）与测试图像（目标域）之间的各种域差异，在未见测试图像上出现严重的性能下降，这引发了域适应问题。在临床环境中，难以在短期内收集到足够的标注目标域数据。少样本域适应，即利用少量标注对训练好的模型进行适应，在这种情况下极具实用价值。本文提出一种可嵌入任意 DNN 主干网络用于少样本域适应的多态 Transformer（Polyformer）。具体而言，在源域训练的模型中插入 polyformer 层后，其提取一组原型嵌入，可视为源域特征的“基”。在目标域上，polyformer 层仅通过更新控制图像特征与原型嵌入之间交互的投影层来进行适应。适应过程中所有其他模型权重（除 BatchNorm 参数外）均被冻结。因此，过拟合标注的风险大大降低，模型在少量标注图像上训练后便能在目标域稳健表现。我们在两项医学分割任务（即视盘/视杯分割与息肉分割）上展示了 Polyformer 的有效性。Polyformer 的源代码发布于 https://github.com/askerlee/segtran。