面向低质量图像语义分割的恢复适配
计算机视觉与模式识别
2026-02-17 v1 人工智能
摘要
在实际场景中，语义分割性能常因处理低质量 (LQ) 图像而下降，这些图像可能缺乏清晰的语义结构和高频细节。尽管图像恢复技术为增强退化视觉内容提供了可行方向，但常规的真实世界图像恢复 (Real-IR) 模型主要关注像素级保真度，往往难以恢复与下游视觉任务相关的语义线索，限制了其在直接应用于下游任务时的效果。相反，训练于高质量数据上的分割模型缺乏对真实世界退化的鲁棒性。本文提出语义分割的恢复适配 (Restoration Adaptation for Semantic Segmentation, RASS)，有效地将语义图像恢复集成到分割过程中，直接实现对 LQ 图像的高质量语义分割。具体而言，我们首先提出语义约束恢复 (Semantic-Constrained Restoration, SCR) 模型，通过对齐其跨注意力映射与分割掩码，将分割先验注入恢复模型，以鼓励语义忠实的图像重建。随后，RASS 通过 LoRA-based 模块融合和任务特定的微调，将语义恢复知识传递到分割模型，从而增强其对 LQ 图像的鲁棒性。为验证该框架的有效性，我们构建了一个具有高质量标注的真实世界 LQ 图像分割数据集，并在合成和真实世界 LQ 数据集上进行大量实验。结果表明，SCR 和 RASS 在分割和恢复任务上均显著优于现有领先方法。代码、模型和数据集可在 https://github.com/Ka1Guan/RASS.git 获取。
引用
@article{arxiv.2602.14042,
title = {Restoration Adaptation for Semantic Segmentation on Low Quality Images},
author = {Kai Guan and Rongyuan Wu and Shuai Li and Wentao Zhu and Wenjun Zeng and Lei Zhang},
journal= {arXiv preprint arXiv:2602.14042},
year = {2026}
}