一种基于形状感知的重定目标方法用于单目视频中人体运动与外观迁移

在人体演员视频之间迁移运动与外观仍是计算机视觉中的关键挑战之一。尽管近期图像到图像翻译方法取得了进展，在若干迁移场景下大多数端到端基于学习的重定目标方法仍表现不佳。将一个演员的人体外观迁移到另一个演员仅在遵守严格设置时才得以保证，而该设置通常是依据其训练机制的特性构建的。在本工作中，我们提出一种基于混合图像渲染技术的形状感知方法，与最先进的神经渲染方法相比具有具竞争力的视觉重定目标质量。该公式将用户身体形状融入重定目标，同时考虑三维运动与二维图像域中的物理约束。我们还提出一个新的视频重定目标基准数据集，由带有标注人体运动的不同视频组成，用于评估人物视频合成任务，可作为改进该领域进展跟踪的共同基础。该数据集及其评估协议旨在更通用且更具挑战性的条件下评估重定目标方法。我们的方法在多项实验中得到验证，包括具有不同形状、运动类型和相机设置的公开可用演员视频。数据集与重定目标代码已公开于：https://www.verlab.dcc.ufmg.br/retargeting-motion。