用于虚拟现实中360度视频持续感知质量评估的自适应得分对齐学习
计算机视觉与模式识别
2025-02-28 v1
摘要
虚拟现实视频质量评估（VR-VQA）旨在评估360度视频的感知质量，这对于确保无失真的用户体验至关重要。传统VR-VQA方法在具有有限失真多样性的静态数据集上进行训练，难以在相关性和精确度之间取得平衡。这在针对多样化的VR内容并持续适应动态演变的视频分发变体时尤其关键。为此，我们提出了一种新颖的方法，用于评估VR视频的感知质量：自适应得分对齐学习（Adaptive Score Alignment Learning, ASAL）。ASAL将相关性损失与误差损失集成，以增强与人类主观评分的对齐度，并提升对感知质量的预测精度。特别地，ASAL可以通过一种特征空间平滑过程自然适应持续变化的分布，从而增强对未见内容的泛化能力。为进一步提高对动态VR环境的持续适应性，我们将ASAL扩展为采用自适应记忆回放的持续学习（Continual Learning, CL）框架。不同于传统CL模型，ASAL利用关键帧提取和特征适应来应对非平稳变化带来的挑战，同时考虑VR设备的计算和存储限制。我们建立了VR-VQA及其CL对应项的全面基准，引入新的数据划分和评估指标。我们的实验表明，ASAL在各种数据集上均优于最新的强基准模型，在静态联合训练设置下实现最高4.78%的相关性提升，在动态CL设置下实现12.19%的相关性提升。这验证了ASAL在应对VR-VQA固有的挑战方面的有效性。我们的代码可在https://github.com/ZhouKanglei/ASAL_CVQA上获取。
引用
@article{arxiv.2502.19644,
title = {Adaptive Score Alignment Learning for Continual Perceptual Quality Assessment of 360-Degree Videos in Virtual Reality},
author = {Kanglei Zhou and Zikai Hao and Liyuan Wang and Xiaohui Liang},
journal= {arXiv preprint arXiv:2502.19644},
year = {2025}
}
备注
Accepted as a TVCG paper at VR 2025