DCVQE：一种用于视频质量评估的分层Transformer
计算机视觉与模式识别
2022-10-11 v1
摘要
用户生成视频的爆发式增长激发了对无参考视频质量评估(NR-VQA)的巨大需求。受我们对人类标注行为的观察启发，我们提出了一种用于NR-VQA的 Divide and Conquer Video Quality Estimator (DCVQE)。从提取帧级质量嵌入(QE)出发，我们的方法将整个序列分割为若干片段，并应用Transformer学习片段级QE同时更新帧级QE；引入另一个Transformer将片段级QE组合生成视频级QE。我们称这种Transformer的分层组合为 Divide and Conquer Transformer (DCTr)层。通过多次重复该DCTr层的过程，可实现准确的视频质量特征提取。考虑到标注数据间的序关系，我们还提出了一种用于模型训练的新相关性损失项。在各种数据集上的实验证实了我们的DCVQE模型的有效性与鲁棒性。
引用
@article{arxiv.2210.04377,
title = {DCVQE: A Hierarchical Transformer for Video Quality Assessment},
author = {Zutong Li and Lei Yang},
journal= {arXiv preprint arXiv:2210.04377},
year = {2022}
}
备注
Accepted by ACCV2022