手语生成中的强化建模:一种计算方法
计算与语言
2024-10-21 v1 人工智能
计算机视觉与模式识别
摘要
端到端手语生成模型不能准确表征手语中的韵律。缺乏时间与空间变化导致生成的演示质量差,使人类译员感到困惑。本文中,我们旨在通过以数据驱动的方式对手语中的强化(intensification)进行建模来改善生成手语的韵律。我们提出了基于手语语言学的不同策略,用以指导强度修饰语如何在 gloss 注释中表示。为采用我们的策略,我们首先对基准 PHOENIX-14T(一个德国手语数据集)的一个子集标注不同级别的强化。然后我们使用有监督的强度标注器扩展标注数据集,并获得其余部分的标签。该增强数据集随后用于训练用于手语生成的先进 transformer 模型。我们发现,当使用自动指标评估时,我们在强化建模上的努力产生了更好的结果。人工评估也表明对使用我们模型生成的视频有更高的偏好。
引用
@article{arxiv.2203.09679,
title = {Modeling Intensification for Sign Language Generation: A Computational Approach},
author = {Mert İnan and Yang Zhong and Sabit Hassan and Lorna Quandt and Malihe Alikhani},
journal= {arXiv preprint arXiv:2203.09679},
year = {2024}
}
备注
15 pages, Findings of the Association for Computational Linguistics: ACL 2022