基于双手解耦的从身体动力学预测多样化三维手势
计算机视觉与模式识别
2023-03-22 v2
摘要
从上身动力学预测自然且多样化的三维手势是虚拟化身创建中一项实用却具挑战性的任务。以往工作通常忽视双手间的不对称运动并以整体方式生成双手，导致不自然的结果。在本文中，我们引入一种新颖的基于双侧手部解耦的两阶段三维手部生成方法，以从身体动力学实现自然且多样化的三维手势预测。在第一阶段，我们旨在通过两个手部解耦分支生成自然手势。考虑到双手的不对称姿态与运动，我们引入空间残差记忆 (SRM) 模块，通过残差学习建模身体与每只手之间的空间交互。为整体增强双手运动相对于身体动力学的协调性，我们随后提出时间运动记忆 (TMM) 模块。TMM 能有效建模身体动力学与双手运动间的时间关联。第二阶段建立于如下洞见：给定顺序身体姿态，三维手势预测应是非确定性的。因此，我们基于第一阶段初始输出进一步使三维手势预测多样化。具体地，我们提出原型记忆采样策略 (PSS)，通过基于梯度的马尔可夫链蒙特卡洛 (MCMC) 采样生成非确定性手势。大量实验表明，我们的方法在 B2H 数据集和我们新收集的 TED Hands 数据集上优于最先进的模型。数据集与代码见 https://github.com/XingqunQi-lab/Diverse-3D-Hand-Gesture-Prediction。
引用
@article{arxiv.2303.01765,
title = {Diverse 3D Hand Gesture Prediction from Body Dynamics by Bilateral Hand Disentanglement},
author = {Xingqun Qi and Chen Liu and Muyi Sun and Lincheng Li and Changjie Fan and Xin Yu},
journal= {arXiv preprint arXiv:2303.01765},
year = {2023}
}
备注
Accepted at CVPR 2023