利用梯度衰减与逐层蒸馏加速学习型视频编解码器
图像与视频处理
2024-07-02 v1 计算机视觉与模式识别
摘要
近年来，端到端学习型视频编解码器已展现出在压缩效率方面与传统编码算法竞争的潜力。然而，大多数基于学习的视频压缩模型都存在计算复杂度和延迟高的问题，尤其是在解码器端，这限制了它们在实际应用中的部署。本文提出了一种基于梯度衰减和自适应逐层蒸馏的新型模型无关剪枝方案。梯度衰减增强了稀疏化过程中的参数探索，同时防止了失控的稀疏性，并且优于标准的直通估计器。自适应逐层蒸馏根据中间特征的失真程度来调控不同阶段的稀疏训练。这种分阶段设计能以最小的计算开销高效更新参数。所提出的方法已应用于三种流行的端到端学习型视频编解码器：FVC、DCVC和DCVC-HEM。结果证实，我们的方法在BD-PSNR下降小于0.3dB的情况下，实现了高达65%的MACs减少和2倍的加速。支持代码和补充材料可从以下网址下载：https://jasminepp.github.io/lightweightdvc/
引用
@article{arxiv.2312.02605,
title = {Accelerating Learnt Video Codecs with Gradient Decay and Layer-wise Distillation},
author = {Tianhao Peng and Ge Gao and Heming Sun and Fan Zhang and David Bull},
journal= {arXiv preprint arXiv:2312.02605},
year = {2024}
}