MASTER：通过多智能体模拟教学增强大型语言模型
计算与语言
2025-06-05 v2
摘要
指令微调在 NLP 任务中至关重要，能够增强预训练模型的指令遵循能力和特定任务性能。然而，由于数据收集困难和生产成本高昂，为大型模型获取高质量的微调数据具有挑战性。为了解决这一问题，我们提出了 MASTER，一种新颖的数据增强方法，通过具有不同认知水平的多个智能体之间的交互来丰富原始数据。我们模拟了三种基于教学理论的场景，利用多智能体对话生成高质量的师生交互数据。利用 MASTER，我们构建了 BOOST-QA，这是一个从现有数据集（如 Orca-Math-200k、ProcQA 和 OpenHermes2.5）增强而来的微调数据集。实验表明，使用 BOOST-QA 微调的模型在多个基准测试中表现优异，展现出强大的多任务泛化能力。值得注意的是，MASTER 显著提升了模型在复杂任务中的推理能力，为未来的研究提供了有价值的见解。
引用
@article{arxiv.2506.02689,
title = {MASTER: Enhancing Large Language Model via Multi-Agent Simulated Teaching},
author = {Liang Yue and Yihong Tang and Kehai Chen and Jie Liu and Min Zhang},
journal= {arXiv preprint arXiv:2506.02689},
year = {2025}
}