基于计算机视觉的中手语双向翻译系统
计算机视觉与模式识别
2023-06-21 v2
摘要
作为聋人的主要交流方式，手语具有特殊的语法顺序，因此开发实时手语翻译系统具有意义与价值。在研究过程中，我们为轻量级神经网络模型添加了 TSM 模块以应用于大型中国连续手语数据集，有效提升了网络性能，具备高准确率与快速识别速度。同时，我们改进 Bert-Base-Chinese 模型，将中文句子分词并将自然词序映射至法定手语词序，最终利用孤立手语数据集中的相应词语视频生成句子视频，从而实现文本到手语的翻译功能。在研究最后，我们构建了具备手语识别与翻译功能的系统，并在完整数据集上进行了性能测试。手语视频识别准确率达约 99.3%，耗时约 0.05 秒，手语生成视频耗时约 1.3 秒。该手语系统性能良好且具有可行性。
引用
@article{arxiv.2306.02144,
title = {A two-way translation system of Chinese sign language based on computer vision},
author = {Shengzhuo Wei and Yan Lan},
journal= {arXiv preprint arXiv:2306.02144},
year = {2023}
}