无需相位信息的多尺度控制信号感知 Transformer 运动合成
计算机视觉与模式识别
2023-03-06 v1 图形学
摘要
利用深度学习为角色合成可控运动因其无需繁琐特征工程即可学习紧凑模型的潜力而成为一种有前景的方法。为了从期望路径等弱控制信号产生动态运动，现有方法常需要相位等辅助信息以缓解运动歧义，这限制了其泛化能力。由于过去姿态常包含有用的辅助线索，本文中我们提出一种任务无关的深度学习方法，即多尺度控制信号感知 Transformer（MCS-T），采用基于注意力的编码器-解码器架构，隐式发现辅助信息以合成可控运动，而无需显式要求相位等辅助信息。具体而言，设计了一个编码器以多尺度骨架自适应地建模角色过去姿态的运动模式，并由控制信号驱动的解码器通过对编码的过去运动模式施加上下文专用注意力进一步合成并预测角色状态。因此，它有助于缓解不使用辅助信息的常规方法中常出现的低响应性和缓慢过渡问题。在包含多样运动过渡类型的现有双足运动数据集上的定性与定量实验结果均证明了我们方法的有效性。特别地，MCS-T 能够成功生成与使用辅助信息的方法相当的运动。
引用
@article{arxiv.2303.01685,
title = {Multi-Scale Control Signal-Aware Transformer for Motion Synthesis without Phase},
author = {Lintao Wang and Kun Hu and Lei Bai and Yu Ding and Wanli Ouyang and Zhiyong Wang},
journal= {arXiv preprint arXiv:2303.01685},
year = {2023}
}