通过语义相似度为句子标记符号性和指示性手势

合成语音机器人的协同语音手势生成最近受到关注，主要是基于数据驱动的方法。然而，端到端方法往往难以生成与语义相关且具有特定形式的协同语音手势，即符号性手势和指示性手势。在本工作中，我们确定句子中哪些单词与符号性和指示性手势在语境中相关。首先，我们合理选择了12种被意大利语文化中被识别的手势，这些手势可以被人类化身机器人再现。然后，我们实现了两种基于规则的算法，用于为具有符号性和指示性手势的句子标记。这些规则依赖于使用RoBerta模型计算句子之间以及目标句子中子句与客观句子之间语义相似度得分。我们还实现了一个基线算法，在不计算相似度得分的情况下分配手势。最后，为了验证结果，我们要求30名个体通过图形用户界面（GUI）为一组句子标记指示性和符号性手势，并将标签与我们的算法产生的标签进行比较。为此，我们计算了平均精度（AP）和交并比（IOU）得分，评估了平均计算时间（ACT）。我们的结果表明，语义相似度得分对于在言语中找到符号性和指示性手势是有用的。