面向模式可泛化图像损坏检测的分层对比学习
计算机视觉与模式识别
2023-08-29 v1
摘要
有效的具有大尺寸损坏的图像复原（如盲图像修复）需要精确检测损坏区域掩码，但由于损坏形状和模式多样，这仍极具挑战性。本文提出一种用于自动损坏检测的新方法，可在无需已知损坏掩码的情况下实现盲损坏复原。具体而言，我们构建了分层对比学习框架，通过捕捉损坏与未损坏区域间的内在语义差异来检测损坏区域。特别地，我们的模型以由粗到精的方式检测损坏掩码：先在低分辨率特征空间中通过对比学习预测粗掩码，再通过高分辨率对比学习细化掩码的不确定区域。我们设计了专门的分层交互机制以促进不同尺度下对比学习的知识传播，显著提升建模性能。检测到的多尺度损坏掩码随后被用于引导损坏复原。通过学习的对比差异而非损坏的语义模式来检测损坏区域，我们的模型在不同损坏模式间具有良好泛化能力。大量实验证明了我们模型的以下优点：1）在损坏检测及包括盲修复和水印去除在内的多种图像复原任务上优于其他方法；2）对涂鸦、随机噪声或其他图像内容等不同损坏模式具有强泛化性。代码与训练权重见https://github.com/xyfJASON/HCL。
引用
@article{arxiv.2308.14061,
title = {Hierarchical Contrastive Learning for Pattern-Generalizable Image Corruption Detection},
author = {Xin Feng and Yifeng Xu and Guangming Lu and Wenjie Pei},
journal= {arXiv preprint arXiv:2308.14061},
year = {2023}
}
备注
ICCV 2023