深入频域：傅里叶空间中时间一致的人体运动迁移
计算机视觉与模式识别
2022-09-08 v2
摘要
人体运动迁移指合成照片真实且时间连贯的视频，使一人能够模仿他人的运动。然而，当前合成视频存在连续帧间时间不一致问题，严重降低视频质量，且现有像素域方法远未解决。近来，一些 DeepFake 检测工作尝试在频域区分自然与合成图像，因为图像合成方法存在频率不足。尽管如此，尚无工作从自然与合成视频间频域差异的角度研究合成视频的时间不一致性。本文提出深入频域以实现时间一致的人体运动迁移。首先，我们对自然与合成视频在频域进行首次全面分析，揭示个体帧空间维度与视频时间维度上的频率差异。为缩小自然与合成视频间的频率差异，我们提出一种新颖的基于频率的人体运动迁移框架，命名为 FreMOTR，其能有效缓解合成视频的空间伪影与时间不一致性。FreMOTR 探索了两个新颖的基于频率的正则化模块：1）频域外观正则化（FAR）以改善个体帧中人的外观；2）时间频率正则化（TFR）以保证相邻帧间的时间一致性。最后，综合实验表明 FreMOTR 不仅在时间一致性指标上表现更优，还提升了合成视频的帧级视觉质量。特别地，时间一致性指标比最先进模型提高了近 30%。
引用
@article{arxiv.2209.00233,
title = {Delving into the Frequency: Temporally Consistent Human Motion Transfer in the Fourier Space},
author = {Guang Yang and Wu Liu and Xinchen Liu and Xiaoyan Gu and Juan Cao and Jintao Li},
journal= {arXiv preprint arXiv:2209.00233},
year = {2022}
}
备注
Accepted to ACM MM 2022, 9 pages