面向图像质量评估的局部失真感知高效Transformer适配
计算机视觉与模式识别
2023-08-24 v1
摘要
图像质量评估(Image Quality Assessment, IQA)是计算机视觉领域的一项基础任务,但由于失真条件复杂、图像内容多样以及数据有限,它仍是一个未解决的挑战。近年来,社区中出现了众多大规模预训练基础模型,它们极大地受益于数据和参数规模的显著增长。然而,高层任务中的缩放定律是否也适用于与低层线索密切相关的IQA任务,仍是一个开放问题。在本文中,我们证明通过适当注入局部失真特征,更大的预训练且固定的基础模型在IQA任务中表现更好。具体而言,针对视觉Transformer(ViT)缺乏局部失真结构和归纳偏置的问题,我们 alongside 大规模预训练ViT,使用另一个以捕捉局部结构著称的预训练卷积神经网络(CNN)来提取多尺度图像特征。进一步,我们提出一个局部失真提取器从预训练CNN中获取局部失真特征,并提出一个局部失真注入器将局部失真特征注入ViT。通过仅训练提取器和注入器,我们的方法能够受益于强大基础模型中的丰富知识,并在流行的IQA数据集上取得最先进的性能,这表明IQA不仅是一个低层问题,也能从大规模预训练模型提取的更强高层特征中获益。
引用
@article{arxiv.2308.12001,
title = {Local Distortion Aware Efficient Transformer Adaptation for Image Quality Assessment},
author = {Kangmin Xu and Liang Liao and Jing Xiao and Chaofeng Chen and Haoning Wu and Qiong Yan and Weisi Lin},
journal= {arXiv preprint arXiv:2308.12001},
year = {2023}
}