手语生成面面观
计算机视觉与模式识别
2022-01-07 v2 计算与语言
摘要
手语是聋人和听障群体中使用的主要交流语言形式。为了实现听障群体与听力群体之间简便而双向的交流，构建一个能够将口语翻译成手语并反之的鲁棒系统是基础。为此，手语识别与生成是构建这种双向系统的两个必要部分。手语识别与生成需要应对一些关键挑战。在本综述中，我们回顾了利用深度学习在手语生成（SLP）及相关领域的最新进展。为了对手语有更现实的视角，我们介绍了聋人文化、聋人中心、手语的心理视角，以及口语与手语的主要差异。此外，我们给出了双向手语翻译系统的基本组成，讨论了该领域的主要挑战。同时，简要介绍了 SLP 中的骨干架构与方法，并给出了所提出的 SLP 分类法。最后，给出了 SLP 的一般框架与性能评估，并讨论了 SLP 中的最新进展、优势与局限，对可能的未来研究方向作出评论。
引用
@article{arxiv.2201.01609,
title = {All You Need In Sign Language Production},
author = {Razieh Rastgoo and Kourosh Kiani and Sergio Escalera and Vassilis Athitsos and Mohammad Sabokrou},
journal= {arXiv preprint arXiv:2201.01609},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:2103.15910