GEM：借助视觉基础模型通过简易网络提升玻璃表面分割
计算机视觉与模式识别
2024-05-22 v2
摘要
由于玻璃固有的透明性与反射特性所带来的模糊性，检测玻璃区域是一项具有挑战性的任务。该领域的当前解决方案仍根植于传统深度学习范式，需要构建标注数据集与设计网络架构。然而，这些主流方案明显的缺陷在于数据集整理过程耗时费力，且模型结构日益复杂。本文中，我们提出通过充分借助两个现有视觉基础模型（VFMs）：Stable Diffusion 与 Segment Anything Model（SAM）的能力来解决这些问题。首先，我们通过 Stable Diffusion 以零人工成本构建了名为 S-GSD 的合成但照片级真实的大规模玻璃表面检测数据集。该数据集包含四种不同尺度，总计 168k 张图像并带有精确掩码。此外，基于 SAM 强大的分割能力，我们设计了一个简单的玻璃表面分割器 GEM，其遵循简单的基于查询的编码器–解码器架构。在大规模玻璃分割数据集 GSD-S 上进行了全面实验。我们的 GEM 在这两个 VFMs 的帮助下建立了新的最优性能，以 IoU 提升 2.1% 超越了最佳已报道方法 GlassSemNet。此外，大量实验表明我们的合成数据集 S-GSD 在零样本与迁移学习设定下展现出卓越性能。代码、数据集与模型公开于：https://github.com/isbrycee/GEM
引用
@article{arxiv.2307.12018,
title = {GEM: Boost Simple Network for Glass Surface Segmentation via Vision Foundation Models},
author = {Jing Hao and Moyun Liu and Jinrong Yang and Kuo Feng Hung},
journal= {arXiv preprint arXiv:2307.12018},
year = {2024}
}
备注
12 pages, 8 figures, 8 tables