基于扩散-细化的人体关节运动学随机运动预测

随机人体运动预测旨在给定过去的单一姿态序列，预测多个合理的未来运动。大多数先前工作专注于设计精细的损失以提高准确性，而多样性通常通过从潜在先验中随机采样一组潜变量来刻画，随后解码为可能运动。然而，这种采样与解码的联合训练受限于后验坍缩，因为强大的解码器倾向于忽略学习到的潜变量，导致多样性有限。作为替代，受非平衡热力学中扩散过程的启发，我们提出 MotionDiff，一种扩散概率模型，将人体关节运动学视为受热粒子，其从原始状态扩散至噪声分布。该过程提供了一种无需任何可训练参数即可获得“白化”潜变量的自然方式，且人体运动预测可视为反向扩散过程，将噪声分布转换为基于观测序列的真实未来运动。具体而言，MotionDiff 由两部分组成：基于空间-时间 transformer 的扩散网络以生成多样且合理的运动，以及图卷积网络以进一步细化输出。在两个数据集上的实验结果表明，我们的模型在准确性和多样性方面均具有竞争力。