从通话录音数据集克隆用于电话销售的对话式语音 AI 智能体

语言和语音建模的最新进展使得构建能够实时理解和生成人类对话的自主语音助手成为可能。这些系统正越来越多地部署在客户服务和医疗保健等领域，它们可以自动化重复性任务、降低运营成本，并提供全天候的持续支持。在本文中，我们提出了一种从通话录音语料库中克隆对话式语音 AI 智能体的通用方法。尽管本文描述的案例研究使用电话销售数据来说明该方法，但其底层过程可推广至任何具有通话记录的领域。我们的系统通过电话倾听客户，以合成语音回应，并遵循从表现最佳的人类智能体处学习到的结构化剧本。我们描述了用于构建该智能体的领域选择、知识提取和提示工程，将自动语音识别、基于大型语言模型的对话管理器和文本转语音合成集成到流式推理流水线中。克隆的智能体根据涵盖开场介绍、产品沟通、销售驱动、异议处理和结束语等 22 项标准的评分细则与人类智能体进行了评估。盲测表明，AI 智能体在通话的常规方面接近人类表现，而在说服力和异议处理方面表现不佳。我们分析了这些不足并相应地优化了提示。论文最后总结了设计经验与未来研究方向，包括大规模仿真和自动化评估。