面向内容感知神经视频传输的高效元微调
计算机视觉与模式识别
2022-07-21 v1 图像与视频处理
摘要
近年来，深度神经网络（DNNs）被用于降低互联网视频传输的带宽并提高其质量。现有方法在服务器上为 each 视频块训练相应的内容感知超分辨率（SR）模型，并将低分辨率（LR）视频块与SR模型一同流式传输到客户端。尽管它们取得了有前景的结果，但网络训练的巨大计算成本限制了其实际应用。本文提出一种称为高效元微调（EMT）的方法以降低计算成本。EMT不从头训练，而是将元学习模型适配到输入视频的第一个块。对于后续块，它通过由先前适配模型的梯度掩码所选出的部分参数进行微调。为实现EMT的进一步加速，我们提出一种新颖的采样策略，从视频帧中提取最具挑战性的块。该策略高效且带来可忽略的额外成本。我们的方法显著降低了计算成本并取得了更优性能，为将神经视频传输技术应用于实际铺平了道路。我们基于多种高效SR架构（包括ESPCN、SRCNN、FSRCNN和EDSR-1）进行了大量实验，证明了工作的泛化能力。代码发布于 \url{https://github.com/Neural-video-delivery/EMT-Pytorch-ECCV2022}。
引用
@article{arxiv.2207.09691,
title = {Efficient Meta-Tuning for Content-aware Neural Video Delivery},
author = {Xiaoqi Li and Jiaming Liu and Shizun Wang and Cheng Lyu and Ming Lu and Yurong Chen and Anbang Yao and Yandong Guo and Shanghang Zhang},
journal= {arXiv preprint arXiv:2207.09691},
year = {2022}
}
备注
Accepted at ECCV2022