FreqAlign:从频率视角挖掘面向感知的可迁移性用于盲图像质量评价
图像与视频处理
2023-10-02 v1
摘要
盲图像质量评价(BIQA)在分布偏移发生时(例如从合成退化到真实退化)容易迁移性不佳。为此,一些研究尝试设计基于无监督域适应(UDA)的 BIQA 方案,旨在通过基于对抗的特征对齐消除域偏移。然而,由于全局平均池化操作,特征对齐通常在特征的低频空间进行。这忽略了其他频率分量中可迁移的感知知识,导致 BIQA 的 UDA 陷入次优解。为克服该问题,我们从新颖的频率视角出发,提出一种有效的对齐策略,即频率对齐(称作 FreqAlign),以在频率空间中挖掘 BIQA 面向感知的可迁移性。具体而言,我们研究了特征的哪些频率分量更适于面向感知的对齐。在此基础上,我们提出通过对特征进行频率分解并选择包含最多可迁移感知知识的频率分量进行对齐,从而提升 BIQA 的面向感知可迁移性。为实现稳定而有效的频率选择,我们进一步提出带滑动窗口的频率移动以寻找最优对齐频率,其由三种策略组成:预训练预热、基于频率移动的选择以及基于扰动的微调。在不同 BIQA 域适应设定下的大量实验验证了我们所提方法的有效性。代码将发布于 https://github.com/lixinustc/Openworld-IQA。
引用
@article{arxiv.2309.17014,
title = {FreqAlign: Excavating Perception-oriented Transferability for Blind Image Quality Assessment from A Frequency Perspective},
author = {Xin Li and Yiting Lu and Zhibo Chen},
journal= {arXiv preprint arXiv:2309.17014},
year = {2023}
}
备注
Accepted by IEEE Transactions on Multimedia (TMM)