用于高效视频表示的神经残差流场
计算机视觉与模式识别
2022-10-06 v2
摘要
神经场已成为表示包括视频在内的各种信号的有力范式。然而，关于提高神经场参数效率的研究仍处于早期阶段。尽管将坐标映射到颜色的神经场可用于编码视频信号，该方案并未利用视频信号的空间和时间冗余。受标准视频压缩算法启发，我们提出了一种用于表示和压缩视频的神经场架构，其通过利用视频帧间的运动信息来刻意去除数据冗余。维护运动信息（通常比颜色信号更平滑且更简单）所需参数数量远少得多。此外，通过运动信息重用颜色值进一步提高了网络参数效率。另外，我们建议使用多于一个参考帧进行视频帧重建，并采用分离的网络分别处理光流和残差。实验结果表明，所提方法显著优于基线方法。代码见 https://github.com/daniel03c1/eff_video_representation
引用
@article{arxiv.2201.04329,
title = {Neural Residual Flow Fields for Efficient Video Representations},
author = {Daniel Rho and Junwoo Cho and Jong Hwan Ko and Eunbyung Park},
journal= {arXiv preprint arXiv:2201.04329},
year = {2022}
}
备注
Accepted for ACCV 2022, codes are available at https://github.com/daniel03c1/eff_video_representation