RGB2Hands：基于单目 RGB 视频的实时三维手部交互追踪
计算机视觉与模式识别
2021-06-23 v1
摘要
追踪并重建交互中两只手的 3D 姿态与几何形状是一个具有挑战性的问题，对包括 AR/VR、机器人技术或手语识别在内的若干人机交互应用具有高度相关性。现有工作要么局限于更简单的追踪设定（例如仅考虑单只手或两只空间分离的手），要么依赖较不普及的传感器，如深度相机。相反，本工作中我们提出首个从单 RGB 相机实时捕捉手部骨骼姿态与 3D 表面几何形状并显式考虑近距离交互的方法。为解决 RGB 数据固有的深度歧义，我们提出一种新颖的多任务 CNN，回归多个互补信息，包括分割、到 3D 手部模型的稠密匹配以及 2D 关键点位置，连同新提出的手内相对深度与手间距离图。这些预测随后用于生成式模型拟合框架，以估计两只手的 3D 手部模型的姿态与形状参数。我们通过广泛的消融研究实验验证了 RGB 双手追踪与 3D 重建流水线的各个组件。此外，我们证明我们的方法提供了此前未见的基于 RGB 的双手追踪性能，并在定量与定性上优于未显式设计用于双手交互的现有基于 RGB 的方法。而且，我们的方法甚至与基于深度的实时方法表现相当。
引用
@article{arxiv.2106.11725,
title = {RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video},
author = {Jiayi Wang and Franziska Mueller and Florian Bernard and Suzanne Sorli and Oleksandr Sotnychenko and Neng Qian and Miguel A. Otaduy and Dan Casas and Christian Theobalt},
journal= {arXiv preprint arXiv:2106.11725},
year = {2021}
}
备注
SIGGRAPH Asia 2020