利用数据增强技术构建韩国手语增强（KoSLA）语料库
计算与语言
2022-07-13 v1 人工智能
机器学习
摘要
我们提出了一种高效的手语翻译语料库框架。借助一种简单但显著的数据增强技术，我们的方法以最小的信息损失将文本转换为带标注的形式。手语由手动信号、非手动信号和象似性特征构成。据专业手语翻译者所述，面部表情和手势等非手动信号在传达准确含义方面起着重要作用。通过考虑手语的语言学特征，我们提出的框架是首次且独特的尝试，旨在构建一个包含手动与非手动双模态的多模态手语增强语料库（以下简称KoSLA语料库）。我们所构建的语料库在医院场景下展现出可靠的结果，表明使用增强数据集后性能得到提升。为克服数据稀缺问题，我们采用同义词替换等数据增强技术，在保持手语句法和语义结构的同时，提升翻译模型与可用数据的效率。为提供实验支撑，我们在两种分词器上执行正常句子与手语标注之间的翻译任务，验证了数据增强技术的有效性与我们语料库的实用性。结果令人信服，证明使用KoSLA语料库的BLEU分数有显著提升。
引用
@article{arxiv.2207.05261,
title = {Building Korean Sign Language Augmentation (KoSLA) Corpus with Data Augmentation Technique},
author = {Changnam An and Eunkyung Han and Dongmyeong Noh and Ohkyoon Kwon and Sumi Lee and Hyunshim Han},
journal= {arXiv preprint arXiv:2207.05261},
year = {2022}
}