基于训练查找表的环内滤波
图像与视频处理
2024-09-12 v2 计算机视觉与模式识别
摘要
环内滤波 (ILF) 是图像/视频编码标准中去除信任的关键技术。最近，基于神经网络的环内滤波方法在编码增益方面取得了显著进展，成为未来视频编码标准的强大编码工具候选。然而，深度神经网络的运用带来了巨大的时延和计算复杂度，以及对高性能硬件的高要求，这在编码场景的普遍应用中提出了挑战。为此，我们受图像修复探索的启发，提出一种高效实用的环内滤波方案，采用查找表 (LUT)。我们在固定滤波参考范围内训练 ILF 的 DNN，并通过遍历所有可能的输入将 DNN 的输出值缓存到 LUT 中。在编码过程中测试时，通过定位输入像素（待滤波像素及其参考像素）并插值获取缓存的滤波后像素值来生成滤波后的像素。为进一步在有限存储成本下实现大范围滤波参考，我们引入了滤波过程中增强索引机制，以及训练中的裁剪/微调机制。我们的方法实现于 Versatile Video Coding (VVC) 参考软件 VTM-11.0 中。实验结果表明，所提方法的 ultrafast、very fast 和 fast 模式在所有 intra (AI) 和 random access (RA) 配置下分别实现了平均 0.13%/0.34%/0.51% 和 0.10%/0.27%/0.39% 的 BD 率降低。尤其值得注意的是，我们的方法在时间和计算复杂度方面友好，仅增加 101%/102%-104%/108% 时间，计算量为 0.13-0.93 kMACs/像素，存储开销仅为 164-1148 KB（单个模型）。我们的解决方案或为神经网络编码工具的实际化进程指明了方向。
引用
@article{arxiv.2407.10926,
title = {In-Loop Filtering via Trained Look-Up Tables},
author = {Zhuoyuan Li and Jiacheng Li and Yao Li and Li Li and Dong Liu and Feng Wu},
journal= {arXiv preprint arXiv:2407.10926},
year = {2024}
}
备注
11 pages, 6 figures