MVStylizer：面向手机的高效边缘辅助视频真实感风格迁移系统
图像与视频处理
2020-10-14 v2 计算机视觉与模式识别
机器学习
摘要
近期研究在实现图像神经风格迁移方面取得了巨大进展，该技术指将图像转换为期望的风格。许多用户开始使用手机记录日常生活，然后编辑并与他人分享拍摄的图像和视频。然而，直接将现有风格迁移方法应用于视频，即逐帧迁移视频风格，需要极其庞大的计算资源。在手机上执行视频风格迁移在技术上仍然难以实现。为应对这一挑战，我们提出 MVStylizer，一个面向手机的高效边缘辅助真实感视频风格迁移系统。该系统并非逐帧执行风格化，而是仅在边缘服务器上通过预训练的深度神经网络（DNN）处理原始视频中的关键帧，而其余的风格化中间帧则由我们在手机上设计的基于光流的帧插值算法生成。我们还提出了一个元平滑模块，用于同时将风格化帧放大到任意分辨率，并消除这些放大帧中与风格迁移相关的失真。此外，为了持续提升边缘服务器上 DNN 模型的性能，我们采用联邦学习方案，利用从移动客户端收集的数据在边缘服务器上持续重新训练每个 DNN 模型，并与云服务器上的全局 DNN 模型同步。这种方案有效利用了来自不同移动客户端数据的多样性，并高效提升了系统性能。我们的实验表明，MVStylizer 能够生成视觉质量优于现有最先进方法的风格化视频，同时对于 1920×1080 视频实现了 75.5 倍的加速。
引用
@article{arxiv.2005.11630,
title = {MVStylizer: An Efficient Edge-Assisted Video Photorealistic Style Transfer System for Mobile Phones},
author = {Ang Li and Chunpeng Wu and Yiran Chen and Bin Ni},
journal= {arXiv preprint arXiv:2005.11630},
year = {2020}
}