用于参数高效医学图像分割的提示微调
计算机视觉与模式识别
2022-11-18 v1
摘要
在以稀缺标注存在于数据丰富环境中时，通过自监督方案预训练的神经网络已成为标准做法。因此，以参数高效但有效的方式将模型微调到下游任务（例如对于语义分割的一组新类别）日益重要。在这项工作中，我们提出并研究了若干贡献，以在两个医学成像数据集上实现参数高效但有效的语义分割适配。基于近来流行的提示微调方法，我们提供了一种可提示的 UNet（PUNet）架构，该架构在预训练后冻结，但可通过依赖于类的可学习提示令牌在网络中全程适配。我们使用基于分配给在线生成原型（对比原型分配，CPA）的专用稠密自监督方案预训练该架构，该方案采用师生组合并同时在子集类别上施加分割损失。我们证明所得神经网络模型能够缩小在 CT 成像数据集上全微调与参数高效适配模型之间的差距。具体而言，在 TCIA/BTCV 数据集上全微调与提示微调变体之间的差异在平均 Dice 相似系数（DSC，单位 %）上仅为 3.83 个百分点，在 CT-ORG 数据集上仅为 2.67 个百分点，而仅调整了对应于具有 6.8M 冻结参数的预训练骨干模型 0.85% 的提示令牌。本工作的代码可在 https://github.com/marcdcfischer/PUNet 获取。
引用
@article{arxiv.2211.09233,
title = {Prompt Tuning for Parameter-efficient Medical Image Segmentation},
author = {Marc Fischer and Alexander Bartler and Bin Yang},
journal= {arXiv preprint arXiv:2211.09233},
year = {2022}
}