从视觉语音识别到德语手语中的嘴型识别迁移学习
计算机视觉与模式识别
2025-08-12 v2
摘要
手语识别系统主要关注手部手势，但非手势特征如嘴部动作（具体为嘴型）提供了宝贵的语言信息。本工作直接将嘴型实例分类到对应语言中的单词，同时探讨从视觉语音识别（VSR）到德语手语嘴型识别的迁移学习潜力。我们利用三个VSR数据集：一个为英语、一个为德语且包含无关单词、一个为德语且包含与嘴型数据集相同目标单词，来检验该setting下任务相似性的影响。我们的结果表明，多任务学习不仅改善了嘴型识别与VSR的准确率，也增强了模型的鲁棒性，表明嘴型识别应被视为与VSR相关但独立的任务。该研究通过在VSR到SLR数据集上进行知识迁移，提出将嘴型识别应用于拥有有限嘴型标注的数据集。
引用
@article{arxiv.2505.13784,
title = {Transfer Learning from Visual Speech Recognition to Mouthing Recognition in German Sign Language},
author = {Dinh Nam Pham and Eleftherios Avramidis},
journal= {arXiv preprint arXiv:2505.13784},
year = {2025}
}
备注
Accepted at 19th IEEE International Conference on Automatic Face and Gesture Recognition 2025