基于三维身体、手部和面部重建的独立手语识别
计算机视觉与模式识别
2020-12-11 v1
摘要
独立手语识别是一项复杂的视觉识别问题，由于需要利用并融合手势、身体特征和面部表情的信息，它结合了计算机视觉中若干具有挑战性的任务。尽管许多最先进的工作已能独立地深入处理这些特征，但据我们所知，尚无工作充分结合全部三种信息通道以高效识别手语。在本工作中，我们采用SMPL-X——一种能够从单张图像中联合提取三维身体形状、面部和手部信息的现代参数化模型。我们将这种整体三维重建用于手语识别（SLR），证明相较于将原始RGB图像及其光流输入最先进的I3D类三维动作识别网络、以及将二维Openpose骨架输入循环神经网络，该方法可取得更高准确率。最后，针对身体、面部和手部特征的一组实验表明，忽略其中任一特征都会显著降低分类准确率，证明了联合建模身体形状、面部表情与手部姿态对于手语识别的重要性。
引用
@article{arxiv.2012.05698,
title = {Independent Sign Language Recognition with 3D Body, Hands, and Face Reconstruction},
author = {Agelos Kratimenos and Georgios Pavlakos and Petros Maragos},
journal= {arXiv preprint arXiv:2012.05698},
year = {2020}
}
备注
Submitted to ICASSP 2021