基于大语言模型的语音对话式智能体
计算与语言
2026-03-10 v1 多智能体系统
神经与进化计算
声音
音频与语音处理
摘要
语音对话式智能体正朝着面向语音的大语言模型发展。本教程梳理了从级联式 ASR/NLU 向端到端、检索与视觉 grounding 系统的演进路径。我们框架化地阐述了将文本 LLM 适配到音频、跨模态对齐以及联合语音-文本训练的方法；回顾了数据集、指标以及在不同方言下的鲁棒性；并对比了设计选择（级联式 vs. 端到端、后 ASR 纠正、流式处理）。我们将工业级助手与当前的开放域与任务导向智能体相链接，突出可复现的基线模型，概述了在隐私、安全与评估方面的开放问题。参会者离开时将获得实用的配方和清晰的系统级路线图。
引用
@article{arxiv.2512.02593,
title = {Spoken Conversational Agents with Large Language Models},
author = {Chao-Han Huck Yang and Andreas Stolcke and Larry Heck},
journal= {arXiv preprint arXiv:2512.02593},
year = {2026}
}
备注
Accepted to EMNLP 2025 Tutorial