EmoSign：用于理解美国手语情绪的多模态数据集
计算机视觉与模式识别
2025-05-26 v1
摘要
与以口语为主的语言不同，关于运用韵律特征传递情绪的研究已相当成熟，而手语中情绪指示符的研究则鲜有了解，这在关键场景中造成了沟通障碍。手语具有独特的挑战：面部表情和手部动作同时承担着语法和情绪功能。为填补这一空白，我们引入EmoSign——首个包含200个美国手语（American Sign Language, ASL）视频的情感和情绪标签数据集。我们还收集了关于情绪线索的开放式描述。标注由3名具有专业解说经验的盲人ASL手语者完成。除标注外，我们提供情感和情绪分类的基线模型。这一数据集不仅填补了现有手语研究中的关键空白，也为理解模型在手语情绪识别中的能力 establish 了新的基准。数据集已发布于https://huggingface.co/datasets/catfang/emosign。
引用
@article{arxiv.2505.17090,
title = {EmoSign: A Multimodal Dataset for Understanding Emotions in American Sign Language},
author = {Phoebe Chua and Cathy Mengying Fang and Takehiko Ohkawa and Raja Kushalnagar and Suranga Nanayakkara and Pattie Maes},
journal= {arXiv preprint arXiv:2505.17090},
year = {2025}
}