自回归手语生成：一种基于离散表示的免 gloss 方法
计算机视觉与模式识别
2024-06-11 v2
摘要
免 gloss 手语生成(SLP)提供从口语句子到手语的直接翻译，绕过了对 gloss 中间表示的需求。本文提出手语向量量化网络，一种利用向量量化从手语姿态序列导出离散表示的 SLP 新方法。我们的方法根植于手语的手部与非手部要素，支持先进解码方法并集成潜层对齐以增强语言连贯性。通过综合评估，我们展示了该方法优于先前 SLP 方法的性能，并凸显了反向翻译与 Fréchet 姿态距离作为评估指标的可靠性。
引用
@article{arxiv.2309.12179,
title = {Autoregressive Sign Language Production: A Gloss-Free Approach with Discrete Representations},
author = {Eui Jun Hwang and Huije Lee and Jong C. Park},
journal= {arXiv preprint arXiv:2309.12179},
year = {2024}
}
备注
5 pages, 3 figures, 6 tables