Kunster——AR 艺术视频制作器——移动设备上的实时视频神经风格迁移
计算机视觉与模式识别
2020-05-08 v1 机器学习
图像与视频处理
摘要
神经风格迁移是深度学习研究中一个众所周知的分支，有许多有趣的工作，但有两个主要缺点。该领域大多数工作难以被非专业用户使用，且需要大量硬件资源。在本工作中，我们针对这两个问题提出了一种解决方案。我们将神经风格迁移应用于实时视频（超过每秒 25 帧），其能够在移动设备上运行。我们还研究了实现时间一致性的工作，并提出了微调已训练模型以实现稳定视频的想法。此外，我们还分析了常见深度神经网络架构中层数及滤波器数量对移动设备性能的影响。在实验部分，我们展示了针对 iOS 设备的工作结果，并讨论了当前 Android 设备存在的问题以及未来的可能性。最后，我们展示了在 iPhone 11 Pro 和 iPhone 6s 上测试的风格化定性结果和性能定量结果。本工作已集成于 Apple App Store 中可用的 Kunster - AR Art Video Maker 应用中。
引用
@article{arxiv.2005.03415,
title = {Kunster -- AR Art Video Maker -- Real time video neural style transfer on mobile devices},
author = {Wojciech Dudzik and Damian Kosowski},
journal= {arXiv preprint arXiv:2005.03415},
year = {2020}
}