手语拼接:一种新型手语产出方法
计算机视觉与模式识别
2024-10-15 v2 计算与语言
摘要
手语产出(Sign Language Production, SLP)是一项具有挑战性的任务,由于可用资源有限且手语数据内在多样性大,导致以往研究 suffer from regression to the mean(回归到均值)的问题,产生的手语过于简略且难以理解。本文提出使用字典中的示例来创建具表达力的手语序列。然而,仅简单拼接手语会产生机械且不自然的序列。因此,我们提出了7步方法有效地将手语拼接在一起。首先,通过对每个手语进行标准化姿态归一化,随后进行裁剪和拼接,创建连续序列。随后,通过在频域应用滤波并对每个手语进行重采样,以创建连贯且自然的序列,模拟原始数据中所见的韵律特征。我们利用 SignGAN 模型将输出映射到照片般的手势者,并构建了一个完整的文本到手语(Text-to-Sign, T2S)SLP 流水线。我们的评估表明,这种方法有效,展示了在所有数据集上的最新性能。
引用
@article{arxiv.2405.07663,
title = {Sign Stitching: A Novel Approach to Sign Language Production},
author = {Harry Walsh and Ben Saunders and Richard Bowden},
journal= {arXiv preprint arXiv:2405.07663},
year = {2024}
}
备注
18 pages, 3 figures, 4 tables. Accepted to BMVC 2024