360 度视频编码中神经视频压缩网络的分析
图像与视频处理
2024-02-19 v1
摘要
随着将高质量虚拟现实技术推向市场的努力不断增加，高效的 360 度视频压缩变得愈发重要。为此，最先进的 H.266/VVC 视频编码标准集成了专为 360 度视频设计的工具，并且在设计具有更高压缩效率的 360 度投影格式方面投入了大量精力。对于快速发展的神经视频压缩网络（NVCs）领域，不同 360 度投影格式对整体压缩性能的影响尚未得到研究。因此，目前尚不清楚从传统的等距柱状投影（ERP）重采样到其他投影格式是否能为 NVCs 带来与混合视频编解码器类似的增益，以及哪种格式表现最佳。在本文中，我们分析了多代 NVCs 以及大量的 360 度投影格式在 360 度视频压缩性能方面的表现。基于我们的分析，我们发现投影格式重采样也能显著提高 NVCs 的压缩性能。调整后的立方体贴图投影（ACP）和赤道圆柱投影（ECP）表现最佳，与基于 WS-PSNR 的 ERP 相比，最新的 NVC 实现了超过 55% 的码率节省。值得注意的是，观察到的码率节省高于 H.266/VVC，这强调了投影格式重采样对于 NVCs 的重要性。
引用
@article{arxiv.2402.10257,
title = {Analysis of Neural Video Compression Networks for 360-Degree Video Coding},
author = {Andy Regensky and Fabian Brand and André Kaup},
journal= {arXiv preprint arXiv:2402.10257},
year = {2024}
}
备注
5 pages, 4 figures, 1 table, accepted for Picture Coding Symposium 2024 (PCS 2024)