您的声音就是您的声音：通过语音生成与大语言模型支持自我表达——增强与替代沟通
人机交互
2025-03-25 v1 人工智能
摘要
本文提出了 Speak Ease：一种增强型和替代沟通（AAC）系统，通过整合多模态输入（包括文本、语音以及情境线索——如对话伙伴和情感语气），结合大语言模型（LLM），来支持用户的表达性。Speak Ease 融合了自动语音识别（ASR）、基于情境的 LLM 输出以及个性化文本转语音技术，使沟通更加个性化、自然且富有表现力。通过对 Speak Ease 进行的探索性可行性研究和焦点小组评估，并邀请了语音和语言病理师（SLP）参与，我们评估了其在 AAC 中提升表达性的潜力。研究结果突显了 AAC 用户的优先事项和需求，以及该系统通过支持更个性化、情境相关的沟通来增强用户表达性的能力。这一工作为在 AAC 系统中运用多模态输入和 LLM 驱动的功能以提升表达性提供了见解。
引用
@article{arxiv.2503.17479,
title = {Your voice is your voice: Supporting Self-expression through Speech Generation and LLMs in Augmented and Alternative Communication},
author = {Yiwen Xu and Monideep Chakraborti and Tianyi Zhang and Katelyn Eng and Aanchan Mohan and Mirjana Prpa},
journal= {arXiv preprint arXiv:2503.17479},
year = {2025}
}