基于 2D 高斯的视频表示 GSVR：实现 800+ FPS 的混合形变场

隐式神经表征（implicit neural representations）已被认识为视频表示的一种新型且有前景的形式。现有研究更关注提高视频重建质量，但鲜有关注解码速度。然而，现有方法所使用的卷积网络计算量大，导致解码速度低下。此外，这些基于卷积的视频表示方法还存在训练时间长的问题，大约需要 14 秒才能获得 Bunny 数据集上 35 以上 PSNR 的结果。为解决上述问题，我们提出了 GSVR（Gaussian-based Video Representation），一种基于 2D 高斯的视频表示，实现了在 Bunny 数据集上 800+ FPS 和 35+ PSNR，仅需每帧 2 秒的训练时间。具体而言，我们提出了混合形变场（hybrid deformation field）来建模视频的动态特性，该形变场结合了两种运动模式，即三平面运动（tri-plane motion）和多项式运动（polynomial motion），以处理视频中相机运动与物体运动的耦合问题。进一步，我们提出了动态感知时间切片策略（Dynamic-aware Time Slicing strategy），根据视频的动态程度自适应地将视频划分为多个图像组（GOP），以处理大幅度的相机运动和非刚性运动。最后，我们提出了量化感知微调（quantization-aware fine-tuning）以避免量化后性能下降，并利用图像编解码器（image codecs）对高斯信号进行压缩，以实现紧凑的表示。在 Bunny 和 UVG 数据集上的实验表明，我们的方法收敛速度远快于现有方法，解码速度还快出 10 倍。我们的 method 在视频插值任务中表现与 SOTA 相当，在视频压缩方面优于 NeRV。