用于帧间预测的多域分层约束深度参考帧生成
计算机视觉与模式识别
2019-05-17 v1 图像与视频处理
摘要
帧间预测是视频编码中用于去除时间冗余的重要模块，其中从先前已编码帧中搜索相似的参考块并用于预测待编码块。尽管传统视频编解码器能够估计并补偿块级运动，其帧间预测性能仍严重受不规则旋转和形变引起的剩余不一致像素级位移影响。本文中，我们提出一个深度帧插值网络以在编码场景下生成额外参考帧，从而解决该问题。首先，我们总结了先前用于帧插值的自适应卷积，并提出因子化核卷积网络以提升建模能力同时保持其紧凑形式。其次，为更好地训练该网络，引入多域分层约束以正则化我们的因子化核卷积网络的训练。对于空间域，我们使用逐步下采样与上采样的自编码器在不同尺度上生成用于帧插值的因子化核。对于质量域，考虑到输入帧质量不一致，因子化核卷积由质量相关特征调制，以学习从高质量帧中利用更多信息。对于频率域，利用执行频率变换的绝对变换差分和损失，从编码性能视角促进网络优化。借助由多域分层约束正则化的精心设计的帧插值网络，我们的方法在随机接入配置下平均超越 HEVC 达 6.1% 的 BD-rate 节省，亮度分量最高达 11.0% 的 BD-rate 节省。
引用
@article{arxiv.1905.06567,
title = {Deep Reference Generation with Multi-Domain Hierarchical Constraints for Inter Prediction},
author = {Jiaying Liu and Sifeng Xia and Wenhan Yang},
journal= {arXiv preprint arXiv:1905.06567},
year = {2019}
}