PaCMO：基于神经算子的双人活动中依赖伙伴的人体运动生成
计算机视觉与模式识别
2022-11-30 v1 图形学
机器学习
摘要
我们解决双人活动中生成 3D 人体运动的问题。与主要关注根据文本描述生成单个演员运动的同时期工作不同，我们由动作中另一参与演员的运动来生成其中一名演员的运动。这是一个尤其具有挑战性且未被充分探索的问题，需要学习参与动作的两名演员运动之间的复杂关系，并依据其中一名演员的运动识别动作。为此，我们提出伙伴条件运动算子（PaCMO），一种基于神经算子的生成模型，通过对抗训练在函数空间中学习以伙伴运动为条件的人体运动分布。我们的模型可处理任意时间分辨率的长无标签动作序列。我们还引入了“函数弗雷歇初始距离”（）度量，用于捕捉函数空间中真实数据与生成数据之间的相似性。我们在 NTU RGB+D 和 DuetDance 数据集上测试 PaCMO，由 分数及所进行的用户研究可知，我们的模型生成了逼真的结果。
引用
@article{arxiv.2211.16210,
title = {PaCMO: Partner Dependent Human Motion Generation in Dyadic Human Activity using Neural Operators},
author = {Md Ashiqur Rahman and Jasorsi Ghosh and Hrishikesh Viswanath and Kamyar Azizzadenesheli and Aniket Bera},
journal= {arXiv preprint arXiv:2211.16210},
year = {2022}
}