一种基于全局表观与局部编码失真的融合框架用于视频编码中基于CNN的滤波
图像与视频处理
2021-06-25 v1 计算机视觉与模式识别
摘要
环路滤波在视频编码中用于处理重建帧以消除块效应。随着卷积神经网络（CNN）的发展，CNN 已被探索用于环路滤波，因其可被视为图像去噪任务。然而，除作为失真图像外，重建帧也是通过视频编码中基于块的固定编码操作线获得的。它带有具有某些相似特征的基于编码单元的编码失真。因此，本文从两个方面解决滤波问题：针对被破坏纹理的全局表观恢复，以及由固定编码流水线引起的局部编码失真恢复。相应地，开发了一种三流基于全局表观与局部编码失真的融合网络，具有高层全局特征流、高层局部特征流和低层局部特征流。消融研究验证了不同特征的必要性，表明全局特征与局部特征在滤波中可互补并在结合时取得更好性能。据我们所知，我们是首个通过实验验证从上述全局表观与局部编码失真恢复方面明确刻画视频滤波过程者，为开发滤波技术提供了清晰路径。实验结果表明，所提方法显著优于现有基于单帧的方法，并与 HEVC 参考软件相比，在 AI、LDP 和 RA 配置下平均分别实现 13.5%、11.3%、11.7% 的 BD-Rate 节省。
引用
@article{arxiv.2106.12746,
title = {A Global Appearance and Local Coding Distortion based Fusion Framework for CNN based Filtering in Video Coding},
author = {Jian Yue and Yanbo Gao and Shuai Li and Hui Yuan and Frédéric Dufaux},
journal= {arXiv preprint arXiv:2106.12746},
year = {2021}
}