IPAD-CLIP：教会 CLIP 检测图像局部感知性损伤
计算机视觉与模式识别
2026-05-12 v1
摘要
当前图像质量评估方法严重偏向全局损伤（如噪声、模糊），忽略了如幽灵效应、镜头光晕和孔帛效应等局部感知性损伤。尽管已取得显著进展用于损伤移除，但自动化损伤检测的根本问题仍基本未被探索。本文正式定义了图像感知性损伤检测 (IPAD) 任务以弥合这一差距。我们贡献了一个包含 3,520 张损伤图像的基准数据集，其中包括 520 张真实拍摄和 3,000 张人工合成样本，每个样本均配有三类代表性损伤类别的像素级掩码。IPAD 的核心挑战在于这些损伤具有局部化、细微且语义弱的特性，容易导致漏检。为此，我们引入 IPAD-CLIP，一个基于 CLIP 的新型框架，通过增强文本空间和视觉空间中的损伤区分度，同时保持泛化能力。我们的关键洞察是，局部损伤往往与特定语义语境呈现强相关。因此，我们学习损伤感知的文本嵌入，以显式建模对象-损伤关系，形成更具辨别力的表示，能够清晰区分干净和损伤提示。这些文本嵌入随后用作锚点，将视觉编码器的注意力从高层语义引导至细微的低层损伤。广泛的实验表明，IPAD-CLIP 为 CLIP 的检测应用提供了资源高效的方案，在基准测试中显著优于先进的图像异常检测和图像操纵检测方法。鉴于数据集和模型的实际情况，本文是首次针对多类局部感知性损伤检测进行系统研究。
引用
@article{arxiv.2605.08664,
title = {IPAD-CLIP: Teaching CLIP to Detect Image Local Perceptual Artifacts},
author = {Juan Wang and Xinyu Sun and Ke Zhang and Jin Wang and Bing Li and Weiming Hu and Liang Wang},
journal= {arXiv preprint arXiv:2605.08664},
year = {2026}
}
备注
14 pages, 6 figures