利用自然语言与视觉语言与聋人交流的多语言通信系统
计算机视觉与模式识别
2022-12-02 v1
摘要
据世界聋人联合会统计，存在超过两百种手语。因此，理解聋人——即便是熟练的手语使用者——十分困难，导致聋人社区与社会其余部分之间存在障碍。为弥合这一语言障碍，我们提出一种新颖的多语言通信系统，即 MUGCAT，以提升手语使用者的交流效率。通过将识别出的特定手势转换为具通用性与语言无关性的表达性图片，我们的 MUGCAT 系统显著帮助聋人传达其想法。为克服手语使用的局限（对普通人而言大多无法翻译为完整句子），我们提出从手语的不完整翻译中重构有意义的句子。我们还度量生成句子与碎片化识别手势的语义相似度，以保持原意。实验结果表明，所提系统可实时运行，并能从少量手语手势合成精美惊艳的插图与有意义的句子。这证明我们的 MUGCAT 在辅助聋人交流方面具有可观潜力。
引用
@article{arxiv.2212.00305,
title = {Multilingual Communication System with Deaf Individuals Utilizing Natural and Visual Languages},
author = {Tuan-Luc Huynh and Khoi-Nguyen Nguyen-Ngoc and Chi-Bien Chu and Minh-Triet Tran and Trung-Nghia Le},
journal= {arXiv preprint arXiv:2212.00305},
year = {2022}
}