基于语义亲和准则探索无主观意见视频质量评估
计算机视觉与模式识别
2023-02-28 v1 多媒体
摘要
近期的基于学习的视频质量评估（VQA）算法因收集人类质量意见数据的成本而实现昂贵，且因这些意见偏差而在各场景下鲁棒性较差。这促使我们探索无主观意见（即零样本）VQA 方法。现有方法仅考虑空间或时域的低级自然性，未考虑高级语义的影响。本工作中，我们利用对比语言-图像预训练（CLIP）模型中的文本提示，为无主观意见 VQA 引入一种显式语义亲和指数。我们还通过高斯归一化与 sigmoid 重缩放策略将其与不同的传统低级自然性指数聚合。所提出的由聚合的语义与技术度量构成的、通过语义与技术度量聚合的盲统一无主观意见视频质量指数（BUONA-VISTA），比现有无主观意见 VQA 方法至少提升 20%，且比有主观意见方法更鲁棒。
引用
@article{arxiv.2302.13269,
title = {Exploring Opinion-unaware Video Quality Assessment with Semantic Affinity Criterion},
author = {Haoning Wu and Liang Liao and Jingwen Hou and Chaofeng Chen and Erli Zhang and Annan Wang and Wenxiu Sun and Qiong Yan and Weisi Lin},
journal= {arXiv preprint arXiv:2302.13269},
year = {2023}
}