一种保持身份的行人运动迁移框架

人体运动迁移（HMT）旨在通过模仿源主体的运动为目标主体生成视频片段。尽管先前方法在合成高质量视频方面已取得良好结果，它们忽视了源与目标运动中个体化的运动信息，而该信息对生成视频中运动的真实感至关重要。为解决此问题，我们提出一种新颖的保持身份的人体运动迁移网络，称为\textit{IDPres}。该网络是一种基于骨架的方法，独特地融入目标的个体化运动与骨架信息以增强身份表示。这种融合显著提升了生成视频中运动的真实感。我们的方法聚焦于运动的细粒度解耦与合成。为提升潜空间中的表示学习能力并促进\textit{IDPres}的训练，我们引入了三种训练方案。这些方案使\textit{IDPres}能同时解耦不同表示并精确控制它们，确保合成理想运动。为评估生成视频中个体化运动信息的占比，受步态识别方法在捕捉身份信息方面成功的启发，我们首次引入一种称为身份分数（\textit{ID-Score}）的新定量指标。此外，我们收集了一个身份-运动配对数据集$Dancer101$，由来自公共领域的101个主体的独舞视频组成，提供了促进HMT方法发展的基准。大量实验表明，所提\textit{IDPres}方法在重建精度、真实运动与身份保持方面超越了现有最先进技术。