利用校准信息实现跨平台应用的实时神经视频编解码器
计算机视觉与模式识别
2023-09-21 v1 图像与视频处理
摘要
最先进的神经视频编解码器在某些情况下的RD性能已超越最复杂的传统编解码器。然而，将其用于实际应用仍具挑战性，主要有两个原因：1) 浮点运算引起的跨平台计算误差会导致码流解码不准确；2) 编解码过程的高计算复杂度对实现实时性能构成挑战。本文提出一种实时跨平台神经视频编解码器，能够在消费级GPU上从其他编码平台高效解码720P视频码流。首先，为解决跨平台浮点计算不确定性导致的编解码不一致问题，我们设计了一种校准传输系统，以保证编码与解码阶段熵参数量化的统一性。在编码阶段识别可能在编解码间发生跨界量化的参数，其坐标通过辅助传输码流传送，从而在解码阶段对这些不一致参数进行妥善处理。此外，为降低辅助码流的比特率，我们使用分段高斯约束修正熵参数分布。其次，为匹配解码端实时视频编解码的计算限制，我们设计了轻量模型。一系列效率技术使模型在NVIDIA RTX 2080 GPU上达到25 FPS解码速度。实验结果表明，我们的模型可在另一平台编码时实现720P视频实时解码，且从PSNR角度看，实时模型相较H.265锚点最高带来24.2%的BD-rate提升。
引用
@article{arxiv.2309.11276,
title = {Towards Real-Time Neural Video Codec for Cross-Platform Application Using Calibration Information},
author = {Kuan Tian and Yonghang Guan and Jinxi Xiang and Jun Zhang and Xiao Han and Wei Yang},
journal= {arXiv preprint arXiv:2309.11276},
year = {2023}
}
备注
14 pages