快速调优基础模型进行图像分割
计算机视觉与模式识别
2025-08-26 v1 机器学习
摘要
基础模型如 SAM（Segment Anything Model）在零样体图像分割方面表现出强大性能，但在特定领域任务上常常不足。对这些模型进行微调通常需要大量的手动工作和专业知识。本文引入 QTT-SEG，一种基于元学习驱动的用于自动化和加速 SAM 图像分割微调的方法。基于 Quick-Tune 超参数优化框架，QTT-SEG 使用元学习的成本和性能模型预测高性能配置，有效地导航超过 2 亿 种可能性的搜索空间。我们在八个二分类和五个多分类分割数据集上评估了 QTT-SEG，在紧张的时间限制下进行测试。我们的结果表明，QTT-SEG 在 SAM 的零样体性能上 consistently 获得改进，并在三个分钟内超过 AutoGluon Multimodal（一个强大的 AutoML 基线）在大多数二分类任务上。在多分类数据集上，QTT-SEG 也能实现持续的性能提升。这一发现凸显了元学习在自动化专用分割任务模型适应方面的潜力。代码可在 https://github.com/ds-brx/QTT-SEG/ 获取。
引用
@article{arxiv.2508.17283,
title = {Quickly Tuning Foundation Models for Image Segmentation},
author = {Breenda Das and Lennart Purucker and Timur Carstensen and Frank Hutter},
journal= {arXiv preprint arXiv:2508.17283},
year = {2025}
}
备注
Accepted as a short paper at the non-archival content track of AutoML 2025