基于交叉注意力的影响模型用于手语与非手语特征分析
计算机视觉与模式识别
2024-09-13 v1
摘要
在 American Sign Language (ASL) 中，手语特征（与手部动作相关）与非手语标记（NMM，如面部表情或口部线索）对于提供短语的完整含义均至关重要。尽管在推进手语向口语/书面语理解方面已有诸多努力，但大多数研究主要仅关注手语特征。在本工作中，我们利用先进的神经机器翻译方法，考察并报告了面部表情对理解手语短语的贡献程度。我们提出了一种手语翻译架构，包含双流编码器，其中一个编码器处理面部，另一个处理上半身（含手部）。我们提出了一种新的并行交叉注意力解码机制，可用于量化每种输入模态对输出的影响。来自编码器的两个流被同时引导至解码器中不同的注意力堆栈。通过分析并行交叉注意力权重的特性，我们能够在翻译任务中分析面部标记相较于身体与手部特征的重要性。
引用
@article{arxiv.2409.08162,
title = {Cross-Attention Based Influence Model for Manual and Nonmanual Sign Language Analysis},
author = {Lipisha Chaudhary and Fei Xu and Ifeoma Nwogu},
journal= {arXiv preprint arXiv:2409.08162},
year = {2024}
}