中文

DeepDialogue:一个多轮情感丰富的口语对话数据集

计算与语言 2025-05-27 v1 声音 音频与语音处理

摘要

对话式 AI 的最新进展在单轮回复中展现了令人印象深刻的能力,但对于最先进的语言模型而言,多轮对话仍然具有挑战性。当前的对话数据集在情感范围、领域多样性和对话深度方面存在局限,且绝大多数仅为纯文本,阻碍了跨模态开发更具类人对话系统的进展。为了解决这些局限性,我们提出了 DeepDialogue,这是一个大规模多模态数据集,包含 40,150 个高质量多轮对话,涵盖 41 个领域,并包含 20 种具有连贯情感演变的独立情感。我们的方法将 9 个不同的语言模型(4B-72B 参数)配对以生成 65,600 次初始对话,随后通过人工标注与基于 LLM 的质量过滤相结合进行评估。最终的数据集揭示了一些基本见解:较小的模型在超过 6 轮对话后无法保持连贯性;具体领域(例如“汽车”、“旅行”)比抽象领域(例如“哲学”)产生更有意义的对话;跨模型交互比同模型对话产生更连贯的对话。DeepDialogue 的一个关键贡献是其语音部分,我们为所有 40,150 个对话合成了与情感一致的声音,创建了首个在多轮对话中忠实保留情感语境的大规模开源多模态对话数据集。

关键词

引用

@article{arxiv.2505.19978,
  title  = {DeepDialogue: A Multi-Turn Emotionally-Rich Spoken Dialogue Dataset},
  author = {Alkis Koudounas and Moreno La Quatra and Elena Baralis},
  journal= {arXiv preprint arXiv:2505.19978},
  year   = {2025}
}

备注

Currently under review. See the official website: https://salt-research.github.io/DeepDialogue