用于视频压缩中环路滤波的多密度注意力网络
图像与视频处理
2021-04-28 v1 计算机视觉与模式识别
多媒体
摘要
视频压缩是消费级和专业级视频应用的基本需求。H.264/AVC 和 H.265/HEVC 等视频编码标准已广泛部署于市场，以实现众多视频应用对带宽和存储的高效利用。为减少编码伪影并提升压缩效率，文献中已提出基于神经网络的重建视频环路滤波。然而，由于视频内容与采样密度的变化，环路滤波是一项具有挑战性的任务。本文中，我们提出了一种基于在线缩放的多密度注意力网络用于视频压缩中的环路滤波。我们方法的核心在于几个方面：（a）用于提取多密度特征的并行多分辨率卷积流，（b）用于学习样本相关性并生成掩码图的单一注意力分支，（c）用于融合多分支数据的通道互注意力过程，（d）根据实际信号进一步优网络输出结果的在线缩放技术。所提多密度注意力网络从多种采样密度中学习丰富特征，并对不同分辨率的视频内容具有鲁棒性。此外，在线缩放过程增强了离线预训练模型的信号适应性。实验结果表明，在相同视频质量下，相比最新的通用视频编码（VVC）标准可实现 10.18% 的码率降低。所提算法的客观性能优于最先进的方法，且在细节保留与伪影缓解方面的主观质量提升明显。
引用
@article{arxiv.2104.12865,
title = {Multi-Density Attention Network for Loop Filtering in Video Compression},
author = {Zhao Wang and Changyue Ma and Yan Ye},
journal= {arXiv preprint arXiv:2104.12865},
year = {2021}
}