基于注意力神经网络的视频编码色度帧内预测
图像与视频处理
2021-02-10 v1 计算复杂性
计算机视觉与模式识别
机器学习
多媒体
摘要
神经网络可成功用于改进先进视频编码方案的若干模块。特别是，得益于设计恰当的基于注意力的架构，使预测能利用参考区域中的特定样本，色彩分量的压缩被证明极大受益于机器学习模型。然而，此类架构往往复杂且计算密集，难以在实际视频编码流程中部署。本工作聚焦于降低此类方法的复杂度，设计一组简化且高性价比的基于注意力的架构用于色度帧内预测。提出一种新颖的尺度无关多模型方法来降低推理过程复杂度。所得简化架构仍优于最先进方法。此外，本文给出若干简化措施，以进一步降低所提预测架构的复杂度开销。借助这些简化，相对于原始基于注意力的方法实现了约90%的参数数量削减。简化包括降低卷积操作开销的框架、集成入原始架构的简化跨分量处理模型，以及以整数精度近似来实现快速且硬件友好的方法。所提方案集成入通用视频编码（VVC）预测流程，在保持基于神经网络的最先进色度帧内预测方法压缩效率的同时，为显著降低编码复杂度提供了不同方向。
引用
@article{arxiv.2102.04993,
title = {Attention-Based Neural Networks for Chroma Intra Prediction in Video Coding},
author = {Marc Górriz and Saverio Blasi and Alan F. Smeaton and Noel E. O'Connor and Marta Mrak},
journal= {arXiv preprint arXiv:2102.04993},
year = {2021}
}