通过生成潜空间增强实现任意质量图像分割
计算机视觉与模式识别
2026-04-27 v3
摘要
尽管取得了成功，Segment Anything Models（SAMs）在严重退化、低质量图像上的性能显著下降，限制了其在真实场景中的有效性。为解决这一问题，我们提出了 GleSAM，它利用生成潜空间增强来提升低质量图像上的鲁棒性，从而实现跨不同图像质量的泛化。具体而言，我们将潜扩散的概念适配到基于 SAM 的分割框架中，并在 SAM 的潜空间中执行生成扩散过程以重建高质量表示，从而改善分割。此外，我们引入了两种技术以提升预训练扩散模型与分割框架之间的兼容性。我们的方法仅需极少量额外可学习参数即可应用于预训练的 SAM 和 SAM 2，允许高效优化。我们还构建了 LQSeg 数据集，包含更多样化的退化类型和等级，用于训练和评估模型。大量实验表明，GleSAM 在复杂退化条件下显著提升了分割鲁棒性，同时保持了对清晰图像的泛化能力。此外，GleSAM 在未见过的退化上也表现出色，凸显了我们方法和数据集的通用性。
引用
@article{arxiv.2503.12507,
title = {Segment Any-Quality Images with Generative Latent Space Enhancement},
author = {Guangqian Guo and Yong Guo and Xuehui Yu and Wenbo Li and Yaoxing Wang and Shan Gao},
journal= {arXiv preprint arXiv:2503.12507},
year = {2026}
}
备注
Accepted by CVPR2025