手语者情绪识别

手语者情绪识别面临一个理论挑战和一个实践挑战，即语法性面部表情与情感性面部表情的重叠，以及用于模型训练的数据稀缺。本文在跨语言设置中利用我们的 eJSL 数据集——一个用于手语者情绪识别的新基准数据集，以及 BOBSL——一个大型英国手语数据集并配有字幕——来解决这两个挑战。在 eJSL 中，两名手语者以七种不同情绪状态分别表达了 78 个不同话语，共产生 1,092 个视频片段。我们经验性地证明：1）口语中的文本情绪识别可缓解手语中的数据稀缺问题；2）时间片段选择具有显著影响；3）融入手部动作可增强手语者的情绪识别。最后我们建立了比口语大语言模型更强的基线。