用于深度运动重定向的骨架感知网络

我们引入了一种新颖的深度学习框架，用于骨架之间的数据驱动运动重定向，这些骨架可能具有不同的结构，但对应于同胚图。重要的是，我们的方法学习如何进行重定向，而不需要训练集中运动之间的任何显式配对。我们利用了这样一个事实：不同的同胚骨架可以通过一系列边缘合并操作简化为共同的原始骨架，我们将其称为骨架池化。因此，我们的主要技术贡献是引入了新颖的可微卷积、池化和反池化算子。这些算子是骨架感知的，意味着它们明确考虑了骨架的层次结构和关节邻接性，它们共同作用将原始运动转换为与原始骨架关节相关联的深度时间特征集合。换句话说，我们的算子构成了一个新的深度运动处理框架的构建模块，该框架将运动嵌入到由一组同胚骨架共享的公共潜在空间中。因此，重定向可以简单地通过编码到该潜在空间并从中解码来实现。我们的实验表明，与现有方法相比，我们的框架在运动重定向以及一般运动处理方面是有效的。我们的方法还在包含应用于不同骨架的运动对的合成数据集上进行了定量评估。据我们所知，我们的方法是第一种在不同采样运动学链的骨架之间进行重定向而无需任何配对样本的方法。