医学图像分割的黑箱适应
计算机视觉与模式识别
2024-05-20 v1
摘要
近年来，提出了各种大型基础模型用于图像分割。然而，这些模型通常是在对应通用计算机视觉任务的大量数据上训练的，因此在医学数据上表现不佳。文献中已有一些尝试对此类基础模型进行参数高效微调以用于医学图像分割，但这些方法假设模型的所有参数都可用于适应。在许多情况下，这些模型作为 API 或黑箱发布，无法或有限访问模型参数和数据。此外，微调方法也需要大量计算资源，而下游任务可能无法提供。同时，由于隐私原因，医学数据无法与第三方共享进行微调。为解决这些挑战，我们首次提出了一种针对提示式医学图像分割的黑箱适应技术，称为 BAPS。BAPS 包含两个组件——(i) 一个图像提示解码器 (IP 解码器) 模块，给定图像和提示生成视觉提示；(ii) 一种零阶优化 (ZOO) 方法，称为 SPSA-GC，用于更新 IP 解码器，而无需通过基础模型进行反向传播。因此，我们的方法不需要对基础模型的权重或梯度了解。我们在四种不同模态上测试了 BAPS，表明该方法可使原始模型性能提升约 4%。
引用
@article{arxiv.2405.10913,
title = {Blackbox Adaptation for Medical Image Segmentation},
author = {Jay N. Paranjape and Shameema Sikder and S. Swaroop Vedula and Vishal M. Patel},
journal= {arXiv preprint arXiv:2405.10913},
year = {2024}
}
备注
Accepted early at MICCAI 2024