使用隐式神经表示的沉浸式视频压缩
图像与视频处理
2024-11-22 v2 计算机视觉与模式识别
摘要
近期关于隐式神经表示（INR）的研究已证明其在高效表示和编码传统视频内容方面的潜力。在本文中，我们首次通过提出 MV-HiNeRV（一种新的基于 INR 的沉浸式视频编解码器），将其应用扩展到沉浸式（多视角）视频。MV-HiNeRV 是最先进的基于 INR 的视频编解码器 HiNeRV 的增强版本，后者是为单视角视频压缩开发的。我们修改了模型，使其为每个视角学习一组不同的特征网格，并在所有视角之间共享学习到的网络参数。这使得模型能够有效利用多视角视频中存在的时空冗余和视角间冗余。所提出的编解码器用于在 MPEG 沉浸式视频（MIV）通用测试条件下压缩多视角纹理和深度视频序列，并与使用 VVenC 视频编解码器的 MIV 测试模型（TMIV）进行了对比测试。结果证明了 MV-HiNeRV 的卓越性能，与 TMIV 相比，编码增益显著（高达 72.33%）。MV-HiNeRV 的实现已公开发布，以供进一步开发和评估。
引用
@article{arxiv.2402.01596,
title = {Immersive Video Compression using Implicit Neural Representations},
author = {Ho Man Kwan and Fan Zhang and Andrew Gower and David Bull},
journal= {arXiv preprint arXiv:2402.01596},
year = {2024}
}