中文

CLICv2:基于内容不变对比学习的图像复杂度表示

计算机视觉与模式识别 2025-03-11 v1

摘要

无监督图像复杂度表示常常面临正样本选择偏差以及对图像内容敏感的问题。我们提出 CLICv2,一种强制内容不变性以进行复杂度表示的对比学习框架。不同于 CLIC 通过裁剪生成正样本(这会引入正对偏差),我们的偏移分块方法在对比学习之前对图像块应用随机方向偏移。对应位置的图像块作为正对,确保了内容不变学习。此外,我们提出了块级对比损失,在缓解内容干扰的同时增强局部复杂度表示。为了进一步抑制图像内容的干扰,我们引入掩码图像建模作为辅助任务,但将其建模目标设为掩码块的熵,利用未掩码块的信息恢复整体图像的熵,进而获得全局复杂度感知能力。在 IC9600 上的大量实验表明,CLICv2 在 PCC 和 SRCC 上显著优于现有的无监督方法,在不引入正对偏差的情况下实现了内容不变的复杂度表示。

关键词

引用

@article{arxiv.2503.06641,
  title  = {CLICv2: Image Complexity Representation via Content Invariance Contrastive Learning},
  author = {Shipeng Liu and Liang Zhao and Dengfeng Chen},
  journal= {arXiv preprint arXiv:2503.06641},
  year   = {2025}
}