中文

手语拼接:一种新型手语产出方法

计算机视觉与模式识别 2024-10-15 v2 计算与语言

摘要

手语产出(Sign Language Production, SLP)是一项具有挑战性的任务,由于可用资源有限且手语数据内在多样性大,导致以往研究 suffer from regression to the mean(回归到均值)的问题,产生的手语过于简略且难以理解。本文提出使用字典中的示例来创建具表达力的手语序列。然而,仅简单拼接手语会产生机械且不自然的序列。因此,我们提出了7步方法有效地将手语拼接在一起。首先,通过对每个手语进行标准化姿态归一化,随后进行裁剪和拼接,创建连续序列。随后,通过在频域应用滤波并对每个手语进行重采样,以创建连贯且自然的序列,模拟原始数据中所见的韵律特征。我们利用 SignGAN 模型将输出映射到照片般的手势者,并构建了一个完整的文本到手语(Text-to-Sign, T2S)SLP 流水线。我们的评估表明,这种方法有效,展示了在所有数据集上的最新性能。

关键词

引用

@article{arxiv.2405.07663,
  title  = {Sign Stitching: A Novel Approach to Sign Language Production},
  author = {Harry Walsh and Ben Saunders and Richard Bowden},
  journal= {arXiv preprint arXiv:2405.07663},
  year   = {2024}
}

备注

18 pages, 3 figures, 4 tables. Accepted to BMVC 2024