通过弱监督自适应提升分割基础模型在分布偏移下的泛化能力
计算机视觉与模式识别
2024-04-11 v2
摘要
大语言模型的成功启发了计算机视觉社区探索图像分割基础模型，该模型能够通过提示工程进行零样本/少样本泛化。其中，Segment-Anything (SAM) 是最先进的图像分割基础模型，展现出强大的零样本/少样本泛化能力。尽管取得了成功，但最近的研究揭示了 SAM 在强分布偏移下的弱点。特别是，SAM 在受损的自然图像、伪装图像、医学图像等方面表现不佳。受此观察启发，我们旨在开发一种基于自训练的策略，将 SAM 适应到目标分布。鉴于大规模源数据集、高计算成本和错误伪标签的独特挑战，我们提出了一种带有锚点正则化和低秩微调的弱监督自训练架构，以提高自适应的鲁棒性和计算效率。我们在 5 类下游分割任务上验证了有效性，包括自然干净/受损图像、医学图像、伪装图像和机器人图像。我们提出的方法本质上是任务无关的，在几乎所有的下游任务上，在相同的测试提示输入下优于预训练的 SAM 和最先进的领域自适应方法。
引用
@article{arxiv.2312.03502,
title = {Improving the Generalization of Segmentation Foundation Model under Distribution Shift via Weakly Supervised Adaptation},
author = {Haojie Zhang and Yongyi Su and Xun Xu and Kui Jia},
journal= {arXiv preprint arXiv:2312.03502},
year = {2024}
}
备注
20 pages, 12 figures