移动设备上的实时神经视频恢复与增强
网络与互联网体系结构
2023-07-25 v1 计算机视觉与模式识别
机器学习
多媒体
摘要
随着移动设备用于视频流媒体日益普及，优化这些设备的流媒体体验至关重要。尽管基于深度学习的视频增强技术正受到关注，但多数无法支持移动设备上的实时增强。此外，许多技术仅关注超分辨率，无法处理视频帧的部分或完全丢失及损坏——这在互联网与无线网络中十分常见。为克服这些挑战，本文提出一种新方法。该方法包含（i）一种新颖的视频帧恢复方案，（ii）一种新的超分辨率算法，以及（iii）一种接收端增强感知的视频码率自适应算法。我们已在 iPhone 12 上实现该方法，其可支持每秒 30 帧（FPS）。我们在 WiFi、3G、4G 和 5G 等多种网络中进行了评估。评估表明，该方法可实现实时增强，并使视频流媒体系统中的视频体验质量（QoE）显著提升 24%–82%。
引用
@article{arxiv.2307.12152,
title = {Real-Time Neural Video Recovery and Enhancement on Mobile Devices},
author = {Zhaoyuan He and Yifan Yang and Lili Qiu and Kyoungjun Park},
journal= {arXiv preprint arXiv:2307.12152},
year = {2023}
}