学习 Transformer 特征用于图像质量评价
计算机视觉与模式识别
2022-03-24 v2 图像与视频处理
摘要
客观图像质量评价是一项具有挑战性的任务，旨在自动衡量给定图像的质量。根据参考图像的可获得性，分别存在全参考（FR）和无参考（NR）IQA 任务。大多数深度学习方法使用从卷积神经网络提取的深度特征进行回归。对于 FR 任务，另一种选择是对深度特征进行统计比较。对于所有这些方法，非局部信息通常被忽视。此外，FR 与 NR 任务间的关系鲜有探究。受近期 transformer 在建模上下文信息方面成功的启发，我们提出了一种统一 IQA 框架，利用 CNN 主干与 transformer 编码器提取特征。该框架兼容 FR 与 NR 两种模式，并支持联合训练方案。在三个标准 IQA 数据集（即 LIVE、CSIQ 和 TID2013）以及 KONIQ-10K 上的评估实验表明，我们所提模型可达到最先进的 FR 性能。此外，在大量实验中取得了可比的 NR 性能，且结果显示 NR 性能可通过联合训练方案得到提升。
引用
@article{arxiv.2112.00485,
title = {Learning Transformer Features for Image Quality Assessment},
author = {Chao Zeng and Sam Kwong},
journal= {arXiv preprint arXiv:2112.00485},
year = {2022}
}