基于GAN进行细节合成与传播的神将视频压缩
图像与视频处理
2022-07-13 v3 计算机视觉与模式识别
摘要
我们提出首个基于生成对抗网络（GANs）的神经视频压缩方法。我们的方法在用户研究中显著优于先前的神经与非神经视频压缩方法，为神经方法在视觉质量上确立了新的最先进水平（SOTA）。我们表明GAN损失对获得此种高视觉质量至关重要。两个组件使GAN损失有效：i) 我们通过以从扭曲的先前重建中提取的潜变量为条件来合成细节，进而 ii) 以高质量光流传播该细节。我们发现用户研究是比较方法所必需的，即我们的定量指标均无法预测所有研究。我们详细呈现网络设计选择，并通过用户研究进行消融。
引用
@article{arxiv.2107.12038,
title = {Neural Video Compression using GANs for Detail Synthesis and Propagation},
author = {Fabian Mentzer and Eirikur Agustsson and Johannes Ballé and David Minnen and Nick Johnston and George Toderici},
journal= {arXiv preprint arXiv:2107.12038},
year = {2022}
}
备注
First two authors contributed equally. ECCV Camera ready version