中文

ODVista:用于超分辨率与质量增强任务的全向视频数据集

图像与视频处理 2024-03-08 v2

摘要

全向或 360 度视频正得到日益广泛的部署,这主要得益于沉浸式虚拟现实 (VR) 和扩展现实 (XR) 技术的最新进展。然而,此类视频在流媒体传输中的应用面临着带宽和延迟方面的挑战,特别是在无人机 (UAV) 等移动条件下。自适应分辨率和压缩旨在在这些约束下保持低延迟的同时维持质量,但下采样和编码仍可能导致质量下降并引入伪影。基于机器学习 (ML) 的超分辨率 (SR) 和质量增强技术通过增强细节恢复和减少压缩伪影,提供了一种有前景的解决方案。然而,当前公开可用的 360 度视频 SR 数据集缺乏压缩伪影,限制了该领域的研究。为弥补这一差距,本文介绍了全向视频流数据集 (ODVista),该数据集包含 200 个高分辨率、高质量的视频,这些视频使用高效视频编码 (HEVC)/H.265 标准在四个比特率范围内进行了下采样和编码。评估表明,该数据集不仅场景多样,还涵盖了不同级别的内容复杂度,这对于在真实场景中表现良好且能泛化至不同视觉环境的鲁棒解决方案至关重要。此外,我们在 ODVista 的验证集和测试集上评估了两种手工设计和两种基于 ML 的 SR 模型的性能,同时考量了质量增强效果和运行时间。

关键词

引用

@article{arxiv.2403.00604,
  title  = {ODVista: An Omnidirectional Video Dataset for super-resolution and Quality Enhancement Tasks},
  author = {Ahmed Telili and Ibrahim Farhat and Wassim Hamidouche and Hadi Amirpour},
  journal= {arXiv preprint arXiv:2403.00604},
  year   = {2024}
}