Semantics2Hands:在虚拟角色间迁移手部运动语义
计算机视觉与模式识别
2023-08-14 v1 图形学
多媒体
摘要
人类双手作为非语言交流的主要手段,在各种场景中传达精细的语义。由于个体对手部运动高度敏感,即便微小的手部运动误差也会显著影响用户体验。实际应用常涉及具有不同手型的多个虚拟角色,凸显了跨角色保持手部运动精细语义的重要性。因此,本文旨在基于各自的手部模型在多样化虚拟角色间迁移手部运动语义。为此,我们引入一种新颖的基于解剖的语义矩阵(ASM)来编码手部运动语义。ASM 量化手掌及其他关节相对于对应关节局部坐标系的位置,实现手部运动的精确重定向。随后,我们通过采用基于解剖的语义重建网络(ASRN)获得从源 ASM 到目标手部关节旋转的映射函数。我们在 Mixamo 和 InterHand2.6M 数据集上以半监督学习策略训练 ASRN。我们在域内和跨域手部运动重定向任务中评估了我们的方法。定性与定量结果表明我们的 ASRN 显著优于当前最优方法。
引用
@article{arxiv.2308.05920,
title = {Semantics2Hands: Transferring Hand Motion Semantics between Avatars},
author = {Zijie Ye and Jia Jia and Junliang Xing},
journal= {arXiv preprint arXiv:2308.05920},
year = {2023}
}
备注
Accepted to MM 2023, 9 pages, 10 figures. Project page: https://abcyzj.github.io/S2H/