中文

面向任意图像质量的图像分割:通过生成式和自适应潜在空间增强

计算机视觉与模式识别 2026-04-28 v2

摘要

Segment Anything Models (SAM) 以卓越的零样本分割性能而备受关注,但在 severely 退化、低质量图像上的性能显著下降,限制了其在实际场景中的应用。为此,我们提出了 GleSAM++,利用生成式潜在空间增强(Generative Latent space Enhancement)提升对低质量图像的鲁棒性,从而实现跨各种图像质量的泛化。此外,为提高预训练扩散模型与分割框架之间的兼容性,我们引入了两项技术,即特征分布对齐(Feature Distribution Alignment, FDA)和通道复制与扩展(Channel Replication and Expansion, CRE)。然而,上述组件缺乏对退化程度的明确指导。模型被迫隐式拟合一个覆盖从轻微噪声到严重损坏的复杂噪声分布,这显著增加了学习负担,并导致重构不理想。为此,我们进一步引入了退化感知自适应增强(Degradation-aware Adaptive Enhancement, DAE)机制。DAE的关键原则是将任意质量特征的重建过程分为两个阶段:退化级别预测和退化感知重建。我们的方法可仅通过添加最小的可学习参数应用于预训练的SAM和SAM2,从而实现高效优化。大量实验表明,GleSAM++在复杂退化条件下显著提升了分割鲁棒性,同时保持对清晰图像的泛化能力。此外,GleSAM++在未见退化情况下的性能也表现优异,彰显了我们方法的通用性及数据集的优势。

关键词

引用

@article{arxiv.2601.02018,
  title  = {Towards Any-Quality Image Segmentation via Generative and Adaptive Latent Space Enhancement},
  author = {Guangqian Guo and Aixi Ren and Yong Guo and Xuehui Yu and Jiacheng Tian and Wenli Li and Chaowei Wang and Yaoxing Wang and Shan Gao},
  journal= {arXiv preprint arXiv:2601.02018},
  year   = {2026}
}

备注

Diffusion-based latent space enhancement helps improve the robustness of SAM