深度分层视频压缩
图像与视频处理
2023-12-13 v1
摘要
近年来，直接对连续帧间潜在特征的条件分布进行建模以消除时间冗余的概率预测编码取得了可喜的成果。现有使用单尺度变分自编码器（VAE）的方法必须在潜在空间中设计复杂的网络来进行条件概率估计，忽略了视频帧的多尺度特性。相反，本工作提出了分层概率预测编码，为此精心设计了分层 VAE，将多尺度潜在特征表征为一族灵活的先验与后验，以预测未来帧的概率。在这种分层结构下，轻量级网络足以进行预测。所提方法在常见测试视频上优于代表性的学习型视频压缩模型，并展现出对计算友好、内存占用更少且编解码更快的优势。对时间模式适应性的大量实验也表明，我们的分层预测机制具有更好的泛化能力。此外，我们的解决方案是首个实现网络视频应用中因丢包而受青睐的渐进式解码的方法。
引用
@article{arxiv.2312.07126,
title = {Deep Hierarchical Video Compression},
author = {Ming Lu and Zhihao Duan and Fengqing Zhu and Zhan Ma},
journal= {arXiv preprint arXiv:2312.07126},
year = {2023}
}