在手语生成的上下文嵌入中纳入面部表情
计算与语言
2024-10-21 v1 计算机视觉与模式识别
机器学习
摘要
最先进的手语生成框架缺乏表现力与自然性，这是仅关注手动手势、忽视面部表情的情感、语法和语义功能所致。本工作的目的是通过 grounding 面部表情来增强手语的语义表示。我们研究了建模文本、gloss 与面部表情之间关系对手语生成系统性能的影响。具体而言，我们提出了一种双编码器 Transformer，能够通过捕捉文本与手语 gloss 标注中的相似性与差异，生成手动手势以及面部表情。我们首次在手语生成中采用面部动作单元，从而考虑了面部肌肉活动在表达手动手势强度中的作用。我们进行了一系列实验，表明所提模型提升了自动生成手语的质量。
引用
@article{arxiv.2202.05383,
title = {Including Facial Expressions in Contextual Embeddings for Sign Language Generation},
author = {Carla Viegas and Mert İnan and Lorna Quandt and Malihe Alikhani},
journal= {arXiv preprint arXiv:2202.05383},
year = {2024}
}