从美学与技术视角探索用户生成内容的视频质量评估
计算机视觉与模式识别
2023-03-08 v3 机器学习
多媒体
图像与视频处理
摘要
用户生成内容（UGC）视频的快速增长要求开发有效的视频质量评估（VQA）算法。然而，UGC-VQA 问题的目标仍不明确，可从两个视角看待：技术视角，衡量对失真的感知；以及美学视角，涉及对内容的偏好与推荐。为理解这两个视角如何影响 UGC-VQA 中的整体主观意见，我们开展了一项大规模主观研究，收集人类对视频整体质量以及从美学和技术视角出发的感知的质量意见。所收集的 Disentangled Video Quality Database（DIVIDE-3k）证实，人类对 UGC 视频的质量意见普遍且不可避免地受到美学和技术视角的影响。鉴于此，我们提出 Disentangled Objective Video Quality Evaluator（DOVER），基于这两个视角学习 UGC 视频的质量。DOVER 在极高效率下证明了其在 UGC-VQA 中的 SOTA 性能。利用 DIVIDE-3k 中的视角意见，我们进一步提出 DOVER++，这是首个从单一美学或技术视角提供可靠清晰质量评估的方法。代码见 https://github.com/VQAssessment/DOVER。
引用
@article{arxiv.2211.04894,
title = {Exploring Video Quality Assessment on User Generated Contents from Aesthetic and Technical Perspectives},
author = {Haoning Wu and Erli Zhang and Liang Liao and Chaofeng Chen and Jingwen Hou and Annan Wang and Wenxiu Sun and Qiong Yan and Weisi Lin},
journal= {arXiv preprint arXiv:2211.04894},
year = {2023}
}