面向语言障碍患者的手势感知零样本语音识别
音频与语音处理
2025-02-21 v1 人工智能
摘要
拥有语言障碍的个体常面临巨大的沟通挑战 due to their limited language processing and comprehension abilities，这也影响了他们与主要依赖自动语音识别（ASR）的语音辅助系统的交互。尽管ASR技术已取得进展以解决不连贯性问题，但很少有关注将非语言交流方法（如手势）整合进来，这些方法是语言障碍患者大量依赖的补充沟通方式。鉴于需要解释语音之外未被捕获的视觉信息所蕴含的潜在含义，我们提出了一种利用零样本学习的多模态大语言模型进行手势感知的ASR系统，专为语言障碍患者设计。我们的实验结果和分析表明，包括手势信息显著增强了语义理解。这一研究有助于开发针对语言障碍患者独特需求的有效沟通技术。
引用
@article{arxiv.2502.13983,
title = {Gesture-Aware Zero-Shot Speech Recognition for Patients with Language Disorders},
author = {Seungbae Kim and Daeun Lee and Brielle Stark and Jinyoung Han},
journal= {arXiv preprint arXiv:2502.13983},
year = {2025}
}