行为驱动的人体动态合成
计算机视觉与模式识别
2021-04-23 v2
摘要
生成与表示人体行为对各种计算机视觉应用至关重要。通常，人体视频合成将行为表示为姿态序列，并直接预测其可能演进或仅改变所描绘人物的外观，因而无法在合成过程中对其实际行为进行控制。相反，跨个体的可控行为合成与迁移需要深入理解身体动态，并呼唤一种独立于外观及具体姿态的行为表示。本工作中，我们提出一种人体行为合成模型，其学习独立于姿态的人体动态专用表示。利用该表示，我们能够在任意姿态下改变所描绘人物的行为，甚至直接迁移给定视频序列中观察到的行为。为此，我们提出一种条件变分框架，显式地将姿态与行为解耦。我们在这一新任务上验证了方法的有效性，从定量与定性两方面评估了对细粒度、多样化行为的捕捉、迁移与采样。项目页面见 https://cutt.ly/5l7rXEp
引用
@article{arxiv.2103.04677,
title = {Behavior-Driven Synthesis of Human Dynamics},
author = {Andreas Blattmann and Timo Milbich and Michael Dorkenwald and Björn Ommer},
journal= {arXiv preprint arXiv:2103.04677},
year = {2021}
}
备注
Accepted to CVPR 2021 as Poster