C2F-FWN：用于时空一致运动迁移的粗到细光流扭曲网络
计算机视觉与模式识别
2020-12-17 v1
摘要
人体视频运动迁移（HVMT）旨在合成一个人模仿他人动作的视频。尽管现有的基于 GAN 的 HVMT 方法已取得巨大成功，但它们或因合成图像与示例图像间空间一致性的丢失而无法保留外观细节，或因视频帧间缺乏时间一致性而生成不连贯的视频结果。本文中，我们提出粗到细光流扭曲网络（C2F-FWN）用于时空一致的 HVMT。具体而言，C2F-FWN 利用粗到细光流扭曲和布局约束可变形卷积（LC-DConv）来改善空间一致性，并采用光流时间一致性（FTC）损失来增强时间一致性。此外，借助多源外观输入，C2F-FWN 能以极高的灵活性与效率支持外观属性编辑。除公开数据集外，我们还收集了一个大规模 HVMT 数据集 SoloDance 用于评估。在 SoloDance 数据集和 iPER 数据集上的大量实验表明，我们的方法在时空一致性上均优于最先进的 HVMT 方法。源代码与 SoloDance 数据集可在 https://github.com/wswdx/C2F-FWN 获取。
引用
@article{arxiv.2012.08976,
title = {C2F-FWN: Coarse-to-Fine Flow Warping Network for Spatial-Temporal Consistent Motion Transfer},
author = {Dongxu Wei and Xiaowei Xu and Haibin Shen and Kejie Huang},
journal= {arXiv preprint arXiv:2012.08976},
year = {2020}
}
备注
This work is accepted by AAAI2021