基于信息论的帧间条件视频编码的益处与挑战
信息论
2022-12-14 v2 图像与视频处理
math.IT
摘要
变分自编码器在图像与视频压缩中的兴起为许多精细编码技术打开了大门。其中一个例子是条件帧间编码的可能性。此处，不是传输原始帧与预测帧（常由运动补偿获得）之间的残差，而是在已知预测信号的条件下传输当前帧。在实践中，条件编码可使用条件自编码器直接实现，近年的工作也显示出良好结果。本文中，我们对帧间条件编码提供信息论分析，并说明在哪些情形下相比传统残差编码可望获得增益。我们还展示了由于网络结构、数据处理定理后果或量化，在实际视频编码器的预测信号路径中可能出现的信息瓶颈效应。我们论证条件编码相较残差编码具有理论优势，但也存在某些情况，其益处会被预测信号的微小信息瓶颈迅速抵消。
引用
@article{arxiv.2210.07737,
title = {On Benefits and Challenges of Conditional Interframe Video Coding in Light of Information Theory},
author = {Fabian Brand and Jürgen Seiler and André Kaup},
journal= {arXiv preprint arXiv:2210.07737},
year = {2022}
}
备注
5 pages, 4 figures, accepted to be presented at PCS 2022. arXiv admin note: text overlap with arXiv:2112.08011 Update Note: Fixed notation in Eq. 10, no changes otherwise