GEM: 通过 Segment Anything 模型与数据合成增强玻璃表面分割的简单网络
计算机视觉与模式识别
2025-02-12 v1
摘要
由于透明和反射特性的模糊性，检测玻璃区域是一项具有挑战性的任务。这些透明玻璃兼具透射的任意背景场景和反射物体的视觉外观，因此没有固定模式。最近在海量数据上训练的视觉基础模型在图像感知和图像生成方面展现出了惊人的性能。为了更准确地分割玻璃表面，我们充分利用了两个视觉基础模型：Segment Anything（SAM）和 Stable Diffusion。具体而言，我们设计了一个简单的玻璃表面分割器 GEM，它仅由 SAM 主干、一个简单的特征金字塔、一个判别性查询选择模块和一个掩码解码器组成。判别性查询选择能够自适应地识别玻璃表面特征，并将其作为掩码解码器中的初始化查询。我们还通过扩散模型提出了一个名为 S-GSD 的合成但逼真的大规模玻璃表面检测数据集，包含四个不同规模，分别为原始真实数据规模的 1 倍、5 倍、10 倍和 20 倍。该数据集是迁移学习的可行来源。合成数据的规模对迁移学习有积极影响，但随着数据量的增加，改进将逐渐饱和。大量实验表明，GEM 在 GSD-S 验证集上实现了新的 SOTA（IoU +2.1%）。代码和数据集可在：https://github.com/isbrycee/GEM-Glass-Segmentor 获取。
引用
@article{arxiv.2401.15282,
title = {GEM: Boost Simple Network for Glass Surface Segmentation via Segment Anything Model and Data Synthesis},
author = {Jing Hao and Moyun Liu and Kuo Feng Hung},
journal= {arXiv preprint arXiv:2401.15282},
year = {2025}
}
备注
14 pages, 9 figures, 7 tables. arXiv admin note: substantial text overlap with arXiv:2307.12018