结合渐进式再思考与协作学习：一种用于环内滤波的深度框架
图像与视频处理
2021-04-28 v3 计算机视觉与模式识别
摘要
在本文中，我们旨在解决基于深度学习的环内滤波器的（1）联合时空建模与（2）边信息注入问题。针对（1），我们设计了一个兼具渐进式再思考与协作学习机制的深度网络，分别用于提升重建帧内帧与帧间帧的质量。对于帧内编码，设计了渐进式再思考网络（PRN）以模拟人类决策机制，实现有效的空间建模。我们所设计的模块引入了额外的块间连接，在瓶颈模块之前跨块旁路高维信息特征，以回顾完整的过往记忆经验并逐步再思考。对于帧间编码，当前重建帧在特征层面与参考帧（峰值质量帧与最近相邻帧）进行协作交互。针对（2），我们提取帧内与帧间边信息以更好地进行上下文建模。基于HEVC划分树构建了由粗到细的划分图作为帧内边信息。此外，参考帧的扭曲特征被用作帧间边信息。在All-intra（AI）配置下，我们带有帧内边信息的PRN相比HEVC基线平均提供9.0%的BD-rate降低。而在Low-Delay B（LDB）、Low-Delay P（LDP）和Random Access（RA）配置下，我们带有帧间边信息的PRN分别平均提供9.0%、10.6%和8.0%的BD-rate降低。我们的项目网页为 https://dezhao-wang.github.io/PRN-v2/。
引用
@article{arxiv.2001.05651,
title = {Combining Progressive Rethinking and Collaborative Learning: A Deep Framework for In-Loop Filtering},
author = {Dezhao Wang and Sifeng Xia and Wenhan Yang and Jiaying Liu},
journal= {arXiv preprint arXiv:2001.05651},
year = {2021}
}
备注
Accepted for publication in IEEE Transactions on Image Processing (TIP). Website available at https://dezhao-wang.github.io/PRN-v2/