从自然语言到人形机器人手语的顺序到顺序转换
机器人学
2019-07-10 v1 计算与语言
人机交互
机器学习
摘要
本文提出一项面向人机交互应用的自然语言到手语翻译研究。通过所提方法，人形机器人 TEO 有望借助神经网络将文本转换为动作，从而自动表征西班牙手语。自然语言到手语翻译对开发者提出若干挑战，例如输入输出数据长度不一致以及非手动标记的使用。因此，我们选择神经网络及相应的序列到序列(seq-to-seq)模型作为数据驱动系统，以避免导致翻译系统受限或过于复杂的传统专家系统方法或时间依赖限制。为实现这些目标，有必要找到一种进行人体骨架采集以收集手语输入数据的方法。为此我们提出 OpenPose 与 skeletonRetriever，并开展了 3D 传感器规格研究以选择最佳采集硬件。
引用
@article{arxiv.1907.04198,
title = {Sequence-to-Sequence Natural Language to Humanoid Robot Sign Language},
author = {Jennifer J. Gago and Valentina Vasco and Bartek Łukawski and Ugo Pattacini and Vadim Tikhanoff and Juan G. Victores and Carlos Balaguer},
journal= {arXiv preprint arXiv:1907.04198},
year = {2019}
}
备注
13 pages, 8 figures, conference