面向无对应问答数据的同理心式 spoken dialogue 的链条思考方法
计算与语言
2025-01-22 v1 声音
音频与语音处理
摘要
同理心式对话对于自然的人机交互至关重要，使对话系统能够以更个人化、情感更敏感的方式进行响应，从而提高用户满意度和参与度。大型语言模型(LLM)的出现 revolutionized 了对话生成，凭借其强大的能力并在多模态领域展现出潜力。许多研究将语音与基于文本的 LLM 集成，以语音提问为输入并输出文本响应。然而，缺乏包含语音样式信息的 spoken question-answering 数据集进行监督式微调(SFT)限制了这些系统的性能。结果是，这些系统在理解语音内容方面表现出色，但常常难以生成同理心表达。为此，我们提出一种规避无需 question-answering 数据的方法，称为 Listen, Perceive, and Express(LPE)。我们的方法采用两阶段训练过程，首先引导 LLM 倾听内容并感知语音的情感方面。随后，我们利用链式思考(CoT)提示机制释放模型基于倾听的语音内容和感知到的情感线索进行同理心表达的潜能。我们进行实验以证明所提方法的有效性。鉴于本文是首次利用 CoT 用于基于语音的对话，我们深信其创新性。
引用
@article{arxiv.2501.10937,
title = {Leveraging Chain of Thought towards Empathetic Spoken Dialogue without Corresponding Question-Answering Data},
author = {Jingran Xie and Shun Lei and Yue Yu and Yang Xiang and Hui Wang and Xixin Wu and Zhiyong Wu},
journal= {arXiv preprint arXiv:2501.10937},
year = {2025}
}
备注
Accepted by ICASSP 2025