基于知识蒸馏的非自回归手语生成
机器学习
2022-08-24 v1 计算与语言
摘要
手语生成（SLP）旨在将口语中的表达翻译成手语中相应的表达，例如基于骨架的手势姿态或视频。现有的 SLP 模型要么是自回归（AR）的，要么是非自回归（NAR）的。然而，AR-SLP 模型在解码过程中存在均值回归和误差传播问题。NSLP-G 这一基于 NAR 的模型在一定程度上解决了这些问题，但引发了其他问题。例如，它未考虑目标手语长度，并且存在错误的解码启动。我们提出了一种通过知识蒸馏（KD）的新型 NAR-SLP 模型来解决这些问题。首先，我们设计了一个长度调节器来预测生成的手势姿态序列的结束。然后我们采用 KD，从预训练的姿态编码器中提取空间-语言特征，以缓解错误的解码启动。大量实验表明，所提方法在 Frechet Gesture Distance 和 Back-Translation 评估中均显著优于现有的 SLP 模型。
引用
@article{arxiv.2208.06183,
title = {Non-Autoregressive Sign Language Production via Knowledge Distillation},
author = {Eui Jun Hwang and Jung Ho Kim and Suk Min Cho and Jong C. Park},
journal= {arXiv preprint arXiv:2208.06183},
year = {2022}
}
备注
10 pages, 4 figures, 3 tables, submitted to ECCV2023