通过学习分词实现神经手语翻译
计算机视觉与模式识别
2020-03-05 v2
摘要
手语翻译近来取得了可观成功，为改善与聋人的沟通带来希望。称为分词（tokenization）的预处理步骤提升了翻译成效。若有监督数据可用，分词可从手语视频中学习。然而，gloss层面的数据标注成本高昂，且标注数据稀缺。本文利用对抗式、多任务、迁移学习，探索无需额外标注负担的半监督分词方法。我们提供了大量实验，在不同设定下比较所有方法以进行更深入的分析。在除句子外无额外目标标注的情况下，所提方法取得13.25的BLUE-4与36.28的ROUGE分数，将当前最优（state-of-the-art）分别提升4个BLUE-4点和5个ROUGE点。
引用
@article{arxiv.2002.00479,
title = {Neural Sign Language Translation by Learning Tokenization},
author = {Alptekin Orbay and Lale Akarun},
journal= {arXiv preprint arXiv:2002.00479},
year = {2020}
}
备注
8 pages, 2 figures, FG 2020