即插即用通用压缩视频增强
计算机视觉与模式识别
2025-04-23 v1
摘要
视频压缩是数据传输中广泛采用的技术，有效减少文件大小，使实时云计算成为可能。然而，它以牺牲视觉质量为代价，给下游视觉模型的鲁棒性带来了挑战。本文提出一种通用 codec-aware 增强框架，复用编解码器信息以适应不同压缩设置增强视频，协助各种下游视觉任务，同时避免计算瓶颈。具体而言，提出的 codec-aware 框架包括一种压缩感知适应 (CAA) 网络，该网络采用层次化适应机制来估计帧级增强网络的参数，即比特流感知增强 (BAE) 网络。BAE 网络进一步利用比特流中嵌入的时空先验，有效提高压缩输入帧的质量。大量实验结果表明，我们的框架在质量增强性能方面优于现有增强方法，并且作为即插即用模块，能够协助多个下游任务处理压缩视频。代码和模型均可用于 https://huimin-zeng.github.io/PnP-VCVE/。
关键词
引用
@article{arxiv.2504.15380,
title = {Plug-and-Play Versatile Compressed Video Enhancement},
author = {Huimin Zeng and Jiacheng Li and Zhiwei Xiong},
journal= {arXiv preprint arXiv:2504.15380},
year = {2025}
}
备注
Accepted to CVPR 2025