VMAF 及其变体：迈向统一的视频质量评估
图像与视频处理
2021-10-11 v7 计算机视觉与模式识别
摘要
视频质量评估（VQA）如今是一个快速发展的课题，在全参考（FR）情形下已趋于成熟，但在激增的无参考（NR）情形下仍具挑战性。我们研究了流行的 VMAF 视频质量评估算法在 FR 情形下的变体，使用了支持向量回归与前馈神经网络。我们将其扩展至 NR 情形，采用若干不同特征但类似的学习方式，以开发一个部分统一的 VQA 框架。当充分训练时，诸如 VMAF 的 FR 算法在测试数据集上表现非常好，在 PCC 与 SRCC 上达到 90% 以上的匹配度；但对于预测实际场景中的性能，我们针对每个数据库从头训练/测试。采用 80/20 训练/测试划分，利用改进的运动特征与更好的回归，我们在 PCC 与 SRCC 上平均仍取得约 90% 的性能，较 VMAF 最高有 7-9% 的提升。此外，若忽略参考、将 FR 当作 NR 处理，我们甚至得到尚可的性能（约 75%），这在一定程度上证明了我们统一尝试的合理性。在真正的 NR 情形下，我们相较近期领先算法 VIDEVAL、RAPIQUE 降低了复杂度，却取得相差 3-5% 以内的性能。此外，我们开发了一种分析特征显著性的方法，并得出结论：对于 VIDEVAL 与 RAPIQUE，其一小部分特征提供了绝大部分性能。简言之，我们发现在 FR 的可训练性上有令人鼓舞的改进，同时将 NR 中领先方法的训练复杂度加以约束，并阐明了用于特征选择的特征显著性。
引用
@article{arxiv.2103.07770,
title = {VMAF And Variants: Towards A Unified VQA},
author = {Pankaj Topiwala and Wei Dai and Jiangfeng Pian and Katalina Biondi and Arvind Krovvidi},
journal= {arXiv preprint arXiv:2103.07770},
year = {2021}
}
备注
Some calculational errors have been fixed in this version