EASL：基于多情感引导的语义解缝用于表达手语生成
计算机视觉与模式识别
2025-12-01 v1
摘要
大型语言模型通过自动将文本转换为高质量手语视频，为听障社群提供了可达的沟通方式。然而，现有 LLM 方法侧重语义准确性，忽视情感表达，导致输出缺乏自然性和表现力。我们提出EASL（情感感知手语），一种多情感引导的生成架构，用于细粒度情感集成。我们引入情感-语义解缝模块并采用渐进式训练，分别提取语义和情感特征。在姿态解码过程中，情感表示引导语义交互，以生成带有 7 类情感置信度的手语姿态，实现情感表达识别。实验结果表明，EASL 通过整合多情感信息实现了超过所有对比基准的姿态准确率，并能有效适配扩散模型生成具有情感表达的手语视频。
引用
@article{arxiv.2511.22135,
title = {EASL: Multi-Emotion Guided Semantic Disentanglement for Expressive Sign Language Generation},
author = {Yanchao Zhao and Jihao Zhu and Yu Liu and Weizhuo Chen and Yuling Yang and Kun Peng},
journal= {arXiv preprint arXiv:2511.22135},
year = {2025}
}