从泛化视角重新审视视频质量评估
计算机视觉与模式识别
2024-09-24 v1
摘要
短视频平台如 YouTube Shorts、抖音和快手的日益流行，导致用户生成内容（UGC）激增，这对视频质量评估（VQA）任务的泛化性能提出了重大挑战。这些挑战不仅影响测试集上的表现，也影响其在不同数据集之间的泛化能力。虽然已有研究主要关注增强特征提取器、采样方法和网络分支，却很少关注 VQA 任务的泛化能力。本文从泛化角度重新评估 VQA 任务。我们首先分析 VQA 模型的权重损失景观，识别其与泛化差距之间的强相关性。随后，我们探讨 various techniques 以正则化权重损失景观。结果表明，对抗性权重扰动能够有效平滑该景观，显著提升泛化性能，其中跨数据集泛化和微调性能分别提升最高可达 1.8% 和 3%。通过多项在各种 VQA 方法和数据集上的广泛实验，我们验证了该方法的有效性。此外，凭借这些见解，我们在图像质量评估（IQA）任务中实现了最先进的性能。我们的代码已公开于 https://github.com/XinliYue/VQA-Generalization。
引用
@article{arxiv.2409.14847,
title = {Revisiting Video Quality Assessment from the Perspective of Generalization},
author = {Xinli Yue and Jianhui Sun and Liangchao Yao and Fan Xia and Yuetang Deng and Tianyi Wang and Lei Li and Fengyun Rao and Jing Lv and Qian Wang and Lingchen Zhao},
journal= {arXiv preprint arXiv:2409.14847},
year = {2024}
}
备注
13 pages, 4 figures