中文

MobileNVC:移动设备上的实时1080p神经视频压缩

图像与视频处理 2023-11-16 v3 计算机视觉与模式识别 机器学习

摘要

神经视频编解码器最近在低延迟设定下已能与HEVC等标准编解码器竞争。然而,大多数神经编解码器是大型浮点网络,使用时域建模的像素密集扭曲操作,使其计算开销过大而无法部署在移动设备上。近期工作表明在移动端实时运行神经解码器是可行的,但仅针对720p RGB视频展示了这一点。本工作提出了首个在移动设备上实时解码1080p YUV420视频的神经视频编解码器。我们的编解码器依赖于两项主要贡献。首先,我们设计了一个高效编解码器,其使用移动加速器扭曲核心上可用的基于块的运动补偿算法,并展示了如何将此模型量化为整型精度。其次,我们实现了一个快速解码器流水线,同时在神经信号处理器上运行神经网络组件、在移动GPU上并行熵编码、在扭曲核心上扭曲。我们的编解码器以高达48%的BD-rate节省大幅优于先前的设备上编解码器,同时将接收端的MAC计数减少10×10 \times。我们进行了仔细的消融实验以展示所引入运动补偿方案的效果,并消融了模型量化的影响。

关键词

引用

@article{arxiv.2310.01258,
  title  = {MobileNVC: Real-time 1080p Neural Video Compression on a Mobile Device},
  author = {Ties van Rozendaal and Tushar Singhal and Hoang Le and Guillaume Sautiere and Amir Said and Krishna Buska and Anjuman Raha and Dimitris Kalatzis and Hitarth Mehta and Frank Mayer and Liang Zhang and Markus Nagel and Auke Wiggers},
  journal= {arXiv preprint arXiv:2310.01258},
  year   = {2023}
}

备注

Matches version published at WACV 2024