关于学习型视频压缩中感知损失函数选择的探讨
图像与视频处理
2023-08-24 v2 计算机视觉与模式识别
信息论
机器学习
math.IT
摘要
我们研究因果、低延迟、序列视频压缩问题，其输出同时受到均方误差（MSE）失真损失和面向真实感的感知损失约束。受先前方法启发，我们考虑两种不同的感知损失函数（PLF）。第一种PLF-JD考虑截至当前帧所有视频帧的联合分布（JD），而第二种度量PLF-FMD考虑源与重建之间逐帧边际分布（FMD）。利用信息论分析与基于深度学习的实验，我们表明PLF的选择会对重建产生显著影响，尤其在低码率下。具体而言，基于PLF-JD的重建能更好地保持跨帧时间相关性，但相比PLF-FMD也带来明显的失真代价，并进一步使从早期输出帧错误中恢复更为困难。尽管PLF的选择决定性影响重建质量，我们也证明在编码时未必必须选定某一PLF，该选择可交由解码器决定。特别地，通过训练系统最小化MSE（无需任一PLF）所生成的编码表示可近乎通用，并能在解码器端针对任一PLF选择生成接近最优的重建。我们使用（一次性）信息论分析、对高斯-马尔可夫源模型的率-失真-感知权衡的详细研究，以及在moving MNIST和KTH数据集上基于深度学习的实验验证了我们的结果。
引用
@article{arxiv.2305.19301,
title = {On the Choice of Perception Loss Function for Learned Video Compression},
author = {Sadaf Salehkalaibar and Buu Phan and Jun Chen and Wei Yu and Ashish Khisti},
journal= {arXiv preprint arXiv:2305.19301},
year = {2023}
}