交互混搭：使用带多热类别嵌入的条件分层GAN合成近距离交互
图形学
2022-08-05 v2 计算机视觉与模式识别
摘要
合成多角色交互是一项具有挑战性的任务，因为角色之间存在着复杂且多样的交互。特别是，在生成舞蹈、打斗等近距离交互时，需要角色间精确的时空对齐。现有多角色交互生成工作侧重于为给定序列生成单一类型的反应动作，导致生成动作缺乏多样性。本文中，我们提出一种新颖方法，通过混搭不同类型的近距离交互，来创建给定数据集中未出现的真实人类反应动作。我们提出一种带多热类别嵌入的条件分层生成对抗网络（Conditional Hierarchical GAN with Multi-Hot Class Embedding），从给定的领舞者动作序列生成跟随者的混搭反应动作。实验在含噪声（基于深度）与高质量（基于MoCap）的交互数据集上进行。定量与定性结果表明，我们的方法在给定数据集上优于最先进的方法。我们还提供了一个含真实反应动作的数据集以增强未来该领域的研究。代码见 https://github.com/Aman-Goel1/IMM
引用
@article{arxiv.2208.00774,
title = {Interaction Mix and Match: Synthesizing Close Interaction using Conditional Hierarchical GAN with Multi-Hot Class Embedding},
author = {Aman Goel and Qianhui Men and Edmond S. L. Ho},
journal= {arXiv preprint arXiv:2208.00774},
year = {2022}
}
备注
Accepted to SCA 2022 (will be published in CGF)