将 VMAF 与视频编码配方间恰可察觉差异概率相映射的框架
图像与视频处理
2022-05-23 v2
摘要
基于主观研究、依据人类视觉系统（HVS）开发的恰可察觉差异（JND）模型对许多多媒体应用场景具有价值。在流媒体行业中，它常用于在选择视频编码配方时达成压缩效率与感知质量间的良好平衡。然而，近期最先进的基于深度学习的 JND 预测模型依赖大规模 JND 真值，其采集昂贵且耗时。现有多数 JND 数据集包含内容数量有限，且局限于特定编解码器（如 H264）。因此，在此类数据集上训练的 JND 预测模型通常无法做到编解码器无关。为此，为解耦编码配方与 JND 估计，我们提出一种新颖框架，将同一内容以不同编码配方编码所得两视频间的客观视频质量评估（VQA）分数（即 VMAF）之差，映射为它们之间存在恰可察觉差异的概率。所提出的概率映射模型从 DCR 测试数据中学习，相较于标准 JND 主观测试成本显著降低。由于我们采用客观 VQA 指标（如利用不同编解码器编码内容训练的 VMAF）作为估计 JND 的代理，我们的模型与编解码器无关且计算高效。通过大量实验证明，所提模型能够高效估计 JND 值。
引用
@article{arxiv.2205.07565,
title = {A Framework to Map VMAF with the Probability of Just Noticeable Difference between Video Encoding Recipes},
author = {Jingwen Zhu and Suiyi Ling and Yoann Baveye and Patrick Le Callet},
journal= {arXiv preprint arXiv:2205.07565},
year = {2022}
}