释放神经表示的参数延迟以实现高效视频压缩
图像与视频处理
2024-10-04 v2 计算机视觉与模式识别
多媒体
摘要
数十年来，视频压缩技术一直是研究热点。传统的混合视频压缩框架和端到端框架持续探索基于离散变换和深度学习技术的各种帧内和帧间参考和预测策略。然而，新兴的隐式神经表示（INR）技术将整个视频建模为基本单元，自动捕获帧内和帧间相关性，获得了有前景的性能。INR使用紧凑的神经网络将视频信息存储在网络参数中，有效消除了原始视频中的空间和时间冗余。然而，本文中，我们的探索和验证揭示了当前INR视频压缩方法未充分发挥其保存信息的潜力。我们调查了通过参数重复利用来增强网络参数存储的潜力。通过加深网络，我们设计了一种可行的INR参数重复利用方案，以进一步提高压缩性能。大量实验结果表明，我们的方法显著提高了INR视频压缩的速率失真性能。
引用
@article{arxiv.2410.01654,
title = {Releasing the Parameter Latency of Neural Representation for High-Efficiency Video Compression},
author = {Gai Zhang and Xinfeng Zhang and Lv Tang and Yue Li and Kai Zhang and Li Zhang},
journal= {arXiv preprint arXiv:2410.01654},
year = {2024}
}