基于运动补偿时域滤波的学习型小波视频编码
图像与视频处理
2023-10-13 v2
摘要
我们提出一种基于运动补偿时域滤波（MCTF）的端到端可训练小波视频编码器。由此，我们为学习型视频压缩引入了不同的编码方案，该领域目前由残差与条件编码方法主导。通过在时间、水平和垂直维度上执行离散小波变换，我们获得了一个具有空间与时间可解释性的可扩展框架。我们重点研究一种使用提升格式实现的新型可训练 MCTF 模块。我们展示了训练期间如何考虑 MCTF 中的多个时域分解层级，以及如何处理因 MCTF 编码顺序导致的更大时域位移。此外，我们提出了一种内容自适应的 MCTF 扩展，可在推理时适应不同的运动强度。在实验中，我们将基于 MCTF 的方法与基于学习的条件编码器以及传统混合视频编码进行比较。尤其在高速率下，我们的方法具有令人期待的率失真性能。我们的方法在 UVG 数据集上相较 HEVC 实现了高达 21% 的平均 Bjøntegaard Delta 节省，从而优于最先进的学习型视频编码器。
引用
@article{arxiv.2305.16211,
title = {Learned Wavelet Video Coding using Motion Compensated Temporal Filtering},
author = {Anna Meyer and Fabian Brand and André Kaup},
journal= {arXiv preprint arXiv:2305.16211},
year = {2023}
}
备注
14 pages, 14 figures, Accepted for IEEE Access 2023