仅训练一次：一种同时适用于全参考与无参考图像质量评估的统一框架
计算机视觉与模式识别
2024-04-09 v2 人工智能
图像与视频处理
摘要
尽管图像质量评估（IQA）近期的努力已取得令人瞩目的性能，但与人类视觉系统（HVS）相比仍存在显著差距。一个重要的差异在于人类能在全参考（FR）与无参考（NR）任务间无缝切换，而现有模型被限定于FR或NR任务之一。这一差异意味着需要设计两套不同的系统，从而大大降低了模型的通用性。因此，我们的重点在于将FR与NR IQA统一于单一框架之下。具体而言，我们首先采用编码器从输入图像中提取多级特征。然后提出一种分层注意力（HA）模块作为适用于FR与NR输入的通用适配器，以在每一编码器阶段建模空间失真。此外，考虑到不同失真污染编码器阶段并损害图像语义的方式各异，提出一种语义失真感知（SDA）模块来考察编码器浅层与深层之间的特征关联。通过采用HA与SDA，所提网络能有效执行FR与NR IQA。当我们的模型独立训练于NR或FR IQA任务时，其优于现有模型并达到最先进性能。此外，当联合训练于NR与FR IQA任务时，它进一步提升了NR IQA的性能，同时在最先进FR IQA中取得相当的性能。您只需训练一次即可执行两种IQA任务。代码将发布于：https://github.com/BarCodeReader/YOTO。
引用
@article{arxiv.2310.09560,
title = {You Only Train Once: A Unified Framework for Both Full-Reference and No-Reference Image Quality Assessment},
author = {Yi Ke Yun and Weisi Lin},
journal= {arXiv preprint arXiv:2310.09560},
year = {2024}
}