面向任务导向对话的大语言模型赋能：一种领域无关的多智能体框架与微调策略
多智能体系统
2025-05-21 v1
摘要
基于大语言模型（LLMs）的任务导向对话系统在各行各业获得了越来越多的关注并取得了显著成果。当前方法将复杂的程序工作流程浓缩到单个智能体以实现大规模LLMs上的满意性能。然而，这些方法面临在针对微调轻量级LLMs时实现可比性能的挑战，由于其在处理多复杂逻辑方面的能力有限。在本工作中，我们设计了一种领域无关的多智能体框架（DIMF），其中包含意图分类智能体、槽位填充智能体和响应智能体。这种方法通过将任务分解为领域无关的组件来简化学习复杂度并提升泛化能力。在该框架中，我们使用直接偏好优化（DPO）方法增强了上下文理解能力，并提出了一种简单有效的数据分布适应（DDA）方法，以缓解DPO训练期间的性能下降问题。在MultiWOZ数据集上的实验表明，我们提出的方法在所有基线方法中实现了更好的平均性能。广泛的分析还表明，我们提出的框架在泛化性和零样本能力方面表现优异。
引用
@article{arxiv.2505.14299,
title = {Empowering LLMs in Task-Oriented Dialogues: A Domain-Independent Multi-Agent Framework and Fine-Tuning Strategy},
author = {Zihao Feng and Xiaoxue Wang and Bowen Wu and Weihong Zhong and Zhen Xu and Hailong Cao and Tiejun Zhao and Ying Li and Baoxun Wang},
journal= {arXiv preprint arXiv:2505.14299},
year = {2025}
}