无人机沉浸式视频流传输：综合综述、基准测试与开放挑战
图像与视频处理
2023-11-02 v1
摘要
在过去十年中，由于无人机（UAV）的敏捷性、快速部署和机动性，其使用量显著增长。特别是，使用搭载在无人机上的 360 度相机捕捉全向视频，实现了具有高达 6DoF 的真正沉浸式观看体验。然而，实现这种沉浸式体验需要对高分辨率全向视频进行编码，从而导致比特率增加。因此，在此类内容的实时流传输中，在延迟、吞吐量、感知质量和能耗方面出现了新的挑战。本文对基于无人机的沉浸式视频流传输研究工作进行了全面综述，对流行的视频编码方案进行了基准测试，并指出了开放的研究挑战。首先，我们回顾了关于 360 度视频编码、封装和流传输的文献，特别关注为确保沉浸式视频流传输设备和服务的互操作性而做出的标准化努力。随后，我们全面回顾了针对时变无人机无线信道优化视频流传输的研究工作。此外，我们引入了一个在不同飞行条件下由无人机捕捉的高分辨率 360 度视频数据集。该数据集便于基于流行视频编码标准和格式（包括 AVC/H.264、HEVC/H.265、VVC/H.266、VP9 和 AV1）评估软件和硬件视频编码器的复杂度和编码效率。我们的结果表明，HEVC 通过其硬件实现在编码效率和复杂度之间取得了最佳权衡，而 AV1 格式通过其软件实现（特别是使用 libsvt-av1 编码器）在编码效率上表现优异。此外，我们展示了一个真实测试平台，演示了通过 5G 蜂窝网络对无人机进行远程控制的 360 度视频流传输。
引用
@article{arxiv.2311.00082,
title = {UAV Immersive Video Streaming: A Comprehensive Survey, Benchmarking, and Open Challenges},
author = {Mohit K. Sharma and Chen-Feng Liu and Ibrahim Farhat and Nassim Sehad and Wassim Hamidouche and Merouane Debbah},
journal= {arXiv preprint arXiv:2311.00082},
year = {2023}
}