用于基于视频的人体姿态迁移的双向可变形运动调制

基于视频的人体姿态迁移是一项视频到视频的生成任务，其根据一系列目标人体姿态来驱动一张普通的源人体图像。考虑到服装上高度结构化图案的迁移以及不连续姿态的困难，现有方法常生成失真纹理和闪烁伪影等不尽人意的结果。为解决这些问题，我们提出了一种新颖的可变形运动调制（DMM），其利用带自适应权重调制的几何核偏移来同时执行特征对齐与风格迁移。不同于风格迁移中使用的常规风格调制，所提出的调制机制通过不规则的感受野，根据物体形状从风格码中自适应地重建平滑帧。为增强时空一致性，我们利用双向传播从由噪声姿态生成的扭曲图像序列中提取隐藏的运动信息。所提出的特征传播通过前向与后向传播显著增强了运动预测能力。定量与定性实验结果均证明了其在图像保真度和视觉连续性方面优于现有最优方法。源代码公开于 github.com/rocketappslab/bdmm。