基于增强的数据模型再适应框架：面向鲁棒图像分割
计算机视觉与模式识别
2024-09-17 v1
摘要
图像分割是计算机视觉中的关键任务，具有广泛的工业应用。Segment Anything Model (SAM)最近受到广泛关注，但在工业检验中应用（尤其是商业防伪码的分割）仍面临挑战。不同于开源数据集，工业环境常面临小样本和复杂纹理问题。此外，计算成本也是一个关键关注点 due to 可训练参数数量的变化。为此，我们提出了增强式模型再适应框架(AMRF)。该框架在训练期间利用数据增强技术来增强分割模型的泛化性，使其能够适应具有时间差异的新发布数据集。通过观察常规模型(FCN和U-Net)和预训练SAM模型所产生的分割掩码，我们确定了最小化训练效率与模型性能之间最佳平衡的最优增强集合。我们的结果表明，微调后的FCN在两个连续时间数据集上的裁切准确率提升了3.29%和3.02%，在分类准确率上提升了5.27%和4.04%。同样，微调后的U-Net在裁切和分类上的提升分别为7.34%和4.94%，以及8.02%和5.52%。两种模型分别相对于顶尖的SAM模型(ViT-Large和ViT-Base)在裁切和分类准确率上平均提升了11.75%和9.01%，以及2.93%和4.83%。
引用
@article{arxiv.2409.09530,
title = {An Augmentation-based Model Re-adaptation Framework for Robust Image Segmentation},
author = {Zheming Zuo and Joseph Smith and Jonathan Stonehouse and Boguslaw Obara},
journal= {arXiv preprint arXiv:2409.09530},
year = {2024}
}
备注
Accepted in the European Conference on Computer Vision (ECCV) 2024 workshop