基于 GAN 的时空极线平面图像重建多视点视频编码
图像与视频处理
2023-05-08 v2 计算机视觉与模式识别
摘要
视频场景中多视点的引入不可避免地增加了存储和传输所需的比特率。为降低比特率，研究者开发了在压缩和传输过程中跳过中间视点并最终利用边信息（SI）重建它们的方法。通常，深度图被用于构造 SI。然而，它们的方法存在重建不准确和固有高比特率的问题。本文中，我们提出了一种新颖的多视点视频编码方法，利用生成对抗网络（GAN）的图像生成能力来提高 SI 的重建精度。此外，我们考虑融合来自相邻时间和空间视点的信息以进一步降低 SI 冗余。在编码器端，我们构造时空极线平面图像（EPI），并进一步利用卷积网络提取 GAN 的潜码作为 SI。在解码器端，我们结合 SI 与相邻视点，使用 GAN 生成器重建中间视点。具体而言，我们建立了重建代价与 SI 熵的联合编码器约束，以实现重建质量与比特率开销之间的最优权衡。实验表明，与最先进方法相比，率失真（RD）性能得到显著改善。
引用
@article{arxiv.2205.03599,
title = {GAN-Based Multi-View Video Coding with Spatio-Temporal EPI Reconstruction},
author = {Chengdong Lan and Hao Yan and Cheng Luo and Tiesong Zhao},
journal= {arXiv preprint arXiv:2205.03599},
year = {2023}
}