基于遮挡鲁棒流预测与神经纹理的单次人体运动迁移

人体运动迁移旨在用驱动视频对静态源图像进行动画化。尽管最近在单次人体运动迁移方面取得了显著进展，但基于2D身体关键点、骨架和语义掩码的方法在捕捉源姿态与驱动姿态之间的对应关系方面仍具有挑战，因为运动变化大且关节装配复杂度高。此外，DensePose的精度和精确度也会影响基于神经渲染的方法的图像质量。为解决这些限制，我们考虑了外观和几何信息的重要性，提出了一种统一框架，结合多尺度特征扭曲和神经纹理映射，以恢复更好的2D外观和2.5D几何，部分地利用DensePose的信息，但也能适应其固有的有限精度。我们的模型通过联合训练和融合多种模态信息，能够鲁棒地捕获神经纹理特征，以应对几何误差，同时保持多尺度稠密运动流，以更好地保留外观。在完整视角和半视角身体视频数据集上的实验结果表明，我们的模型能够很好地泛化并取得有竞争力的结果，尤其擅长处理包括大量自遮挡情况在内的挑战性案例。