恶劣环境条件下语义分割与图像复原的协同处理
计算机视觉与模式识别
2020-03-04 v3 图像与视频处理
摘要
大多数最先进的语义分割方法仅在良好条件下达到高准确率。在常见但实际较少讨论的恶劣环境条件下，其性能可能大幅下降。现有研究通常将在恶劣条件下的分割处理视为信号复原之后的独立后处理步骤，使得分割性能在很大程度上依赖于复原质量。本文中，我们提出一种新颖的深度学习框架，以整体方式处理恶劣环境条件下的语义分割与图像复原。所提方法包含两个组件：语义引导自适应，其利用来自退化图像的语义信息来精炼分割；以及样本引导合成，其根据给定的退化样本作为引导，从语义标签图复原图像。我们的方法协同利用了恶劣环境条件下低级复原与高级分割的互补性与相互依赖性。在多个数据集上的大量实验表明，我们的方法不仅能利用退化线索提高语义分割的准确性，还能借助语义引导提升图像复原的感知质量与结构相似性。
引用
@article{arxiv.1911.00679,
title = {Cooperative Semantic Segmentation and Image Restoration in Adverse Environmental Conditions},
author = {Weihao Xia and Zhanglin Cheng and Yujiu Yang and Jing-Hao Xue},
journal= {arXiv preprint arXiv:1911.00679},
year = {2020}
}