中文

Thanos:融合心智技能的大型语言模型增强对话代理

计算与语言 2024-11-08 v1

摘要

为了增进与对话者的社会联系,人类自然地获得了在特定情境下通过考虑哪种对话技能最适合回应来做出恰当反应的能力——我们将这一过程称为“心智技能”。对于基于大型语言模型(LLM)的对话代理而言,像人类一样规划合适的对话技能,由于社交对话的复杂性,尤其是在交互式场景中,是一项挑战。为解决这一问题,我们提出了一个标注了心智技能的对话数据集,名为Multifaceted Skill-of-Mind,该数据集涵盖了多种交互场景(如长期、咨询、任务导向)中的多轮和多方面的对话技能,并基于多样化的社会背景(如人口统计、人格、经验法则)。该数据集包含约10万次对话。基于此数据集,我们推出了一个新的心智技能注入型LLM家族,名为Thanos,模型参数规模为1B、3B和8B。通过大量实验,这些模型成功展示了心智技能过程,并在跨多个领域推断多方面技能方面表现出强大的泛化能力。此外,我们证明Thanos显著提升了基于LLM的对话代理生成回复的质量,并在人工评估中促进了亲社会行为。

关键词

引用

@article{arxiv.2411.04496,
  title  = {Thanos: Enhancing Conversational Agents with Skill-of-Mind-Infused Large Language Model},
  author = {Young-Jun Lee and Dokyong Lee and Junyoung Youn and Kyeongjin Oh and Ho-Jin Choi},
  journal= {arXiv preprint arXiv:2411.04496},
  year   = {2024}
}

备注

Code: https://github.com/passing2961/Thanos