基于深度辅助学习的光场图像质量评估
图像与视频处理
2024-12-11 v1 计算机视觉与模式识别
机器学习
摘要
在多媒体播送中，无参考图像质量评估 (NR-IQA) 用于指示用户感知质量体验 (QoE)，支持智能数据传输，优化用户体验。本文提出一种改进的无参考光场图像质量评估 (NR-LFIQA) 指标，用于未来沉浸式媒体播送服务。首先，将深度可分离卷积 (DSC) 概念扩展至光场图像 (LFI) 的空间域，引入“光场深度可分离卷积 (LF-DSC)”，可高效提取 LFI 的空间特征。其次，进一步理论上将 LF-DSC 扩展至 LFI 的角向空间，提出新概念“光场角向可分离卷积 (LF-ASC)”，能够提取空间与角向特征，进行综合质量评估且计算复杂度低。最后，将空间特征估计和角向特征估计定义为辅助任务，通过提供空间与角向质量特征作为线索，辅助主任务的 NR-LFIQA。据我们了解，这是首次在 NR-LFIQA 中探索深度辅助学习的空间-角向线索。实验在主流 LFI 数据集如 Win5-LID 和 SMART 上进行，比较了主流全参考 IQA 指标及最新无参考 LFIQA 方法。实验结果表明，所提指标在 Win5-LID 和 SMART 上的预测误差分别比第二名基准方法小 42.86% 和 45.95%。在某些具有特定失真类型的挑战性案例中，所提指标可将误差显著降低超过 60%。
引用
@article{arxiv.2412.07079,
title = {Light Field Image Quality Assessment With Auxiliary Learning Based on Depthwise and Anglewise Separable Convolutions},
author = {Qiang Qu and Xiaoming Chen and Vera Chung and Zhibo Chen},
journal= {arXiv preprint arXiv:2412.07079},
year = {2024}
}