基于 Transformer 与扩展骨骼运动表示的希腊手语生成框架
机器学习
2025-03-05 v1
摘要
手语是全球聋哑社区的主要交流形式。为了打破聋哑人与听力正常人群之间的交流障碍，构建能够将口语翻译为手语及将手语翻译为口语的系统势在必行。基于先前研究的见解，我们提出了一种用于手语生成（SLP）的深度学习模型，据我们所知，这是针对希腊手语生成的首次尝试。我们利用基于 Transformer 的架构来解决这一任务，该架构能够实现从文本输入到人体姿态关键点的转换，反之亦然。我们通过一系列对比分析和消融研究，在希腊手语数据集 Elementary23 上评估了所提流程的有效性。我们流程的各个组件，包括数据驱动的 gloss 生成、通过视频到文本翻译进行的训练，以及一种用于 teacher forcing - auto-regressive decoding 的调度算法，似乎都能有效提升生成的手语视频的质量。
关键词
引用
@article{arxiv.2503.02421,
title = {A Transformer-Based Framework for Greek Sign Language Production using Extended Skeletal Motion Representations},
author = {Chrysa Pratikaki and Panagiotis Filntisis and Athanasios Katsamanis and Anastasios Roussos and Petros Maragos},
journal= {arXiv preprint arXiv:2503.02421},
year = {2025}
}