因果感知启发的表示学习用于可信图像质量评估
计算机视觉与模式识别
2024-05-01 v1 图像与视频处理
摘要
尽管在建模视觉感知方面取得了巨大成功，但基于深度神经网络的图像质量评估（IQA）在实际应用中仍然不可靠，因为它容易受到对抗性扰动的影响，并且具有不透明的黑盒结构。在本文中，我们提出通过因果感知启发的表示学习（CPRL）构建可信的IQA模型，并提出一种针对IQA模型的分数反射攻击方法。更具体地说，我们假设每个图像由因果感知表示（CPR）和非因果感知表示（N-CPR）组成。CPR是主观质量标签的原因，对不可察觉的对抗性扰动保持不变。相反，N-CPR呈现与主观质量标签的虚假关联，可能随着对抗性扰动而显著变化。为了从每个输入图像中提取CPR，我们开发了一种基于软排序的通道级激活函数，以调节因果充分（有利于高预测精度）和必要（有利于高鲁棒性）的深度特征，并基于干预使用极小极大博弈进行优化。在四个基准数据库上的实验表明，所提出的CPRL方法优于许多最先进的对抗防御方法，并提供了明确的模型解释。
引用
@article{arxiv.2404.19567,
title = {Causal Perception Inspired Representation Learning for Trustworthy Image Quality Assessment},
author = {Lei Wang and Desen Yuan},
journal= {arXiv preprint arXiv:2404.19567},
year = {2024}
}