面向手语理解的语音转换模型：以尼日利亚手语为例
计算机视觉与模式识别
2022-08-16 v2
摘要
通过本文，我们旨在减少听力障碍群体与通常不熟悉手语的更广大社会之间的沟通障碍，研究区域为撒哈拉以南非洲地区，该地区听力残疾病例最多，并以尼日利亚为案例。该数据集是尼日利亚手语的首创数据集，并与相关利益方合作创建。我们预处理了数据，为两个不同的目标检测模型和一个分类模型做好准备，并采用多种评估指标来衡量模型在手语到文本转换任务上的性能。最后，我们将预测的手语文本转换为语音，并将性能最佳的模型部署到一个轻量级应用程序中，该应用程序能够实时工作，并在将手语单词/短语转换为文本，进而转换为语音方面取得了令人印象深刻的结果。
引用
@article{arxiv.2111.00995,
title = {Sign-to-Speech Model for Sign Language Understanding: A Case Study of Nigerian Sign Language},
author = {Steven Kolawole and Opeyemi Osakuade and Nayan Saxena and Babatunde Kazeem Olorisade},
journal= {arXiv preprint arXiv:2111.00995},
year = {2022}
}