Deep-VFX：基于深度动作识别的短视频视觉特效驱动方法
计算机视觉与模式识别
2020-07-23 v1 机器学习
图像与视频处理
摘要
人体动作是传递信息的关键功能。在应用中，以抖音为代表的短格式移动视频在全球极为流行。用户希望添加更多视觉特效（VFX）以追求创意与个性。短视频平台上添加了多种特效，为用户提供了更多展示个性的可能。常见且传统的做法是创建 VFX 模板。然而，为了合成完美效果，用户不得不进行繁琐的尝试以把握新模板的时机与节奏，尤其在移动应用中并不易用。本文旨在通过动作驱动而非传统的模板匹配来改变 VFX 合成方式。我们提出一种 AI 方法来改进该 VFX 合成。具体而言，为了在人体上添加特效，骨架提取在本系统中必不可少。我们还提出了一种新颖的 LSTM 形式，通过动作识别来探明用户意图。实验表明，我们的系统能够更轻松、高效地生成短视频 VFX。
引用
@article{arxiv.2007.11257,
title = {Deep-VFX: Deep Action Recognition Driven VFX for Short Video},
author = {Ao Luo and Ning Xie and Zhijia Tao and Feng Jiang},
journal= {arXiv preprint arXiv:2007.11257},
year = {2020}
}