隐式视频表示的快速编码与解码

尽管视频数据的可用性和内容丰富性已成为常态，其高维度性质为视频研究带来了挑战。近期进展探索了使用神经网络对视频进行隐式表示，在诸如视频压缩和增强等应用中展现出强大的性能。然而，视频隐式神经表征 (INR) 的编码时间延长仍是持久的挑战。本文聚焦于提高视频编码和解码在隐式表示中的速度。我们引入两个关键组件：NeRV-Enc，基于 transformer 的超网络用于快速编码；以及 NeRV-Dec，用于高效视频加载的并行解码器。NeRV-Enc 通过消除基于梯度的优化，实现了惊人的 $10^4\times$ 加速。同时，NeRV-Dec 简化了视频解码，加载速度比传统编解码器快 $11\times$，超过带预解码视频的 RAM 加载（在大小上快 $2.5\times$，且仅为其 $65\times$）。