通过蒸馏进行面向微领域特定领域 LLM 的智能体微调
计算与语言
2025-10-02 v1
摘要
智能体大语言模型（LLM）因能够自主与外部环境交互并执行多步推理任务而变得日益重要。大多数方法通过少样本提示的上下文学习来利用这些能力，但这通常会导致输入冗长和计算成本增加。智能体微调提供了一种替代方案，它通过在相关数据和示范轨迹上进行训练，使 LLM 能够内化程序化推理和特定领域的知识。虽然先前的研究集中在通用领域，但它们在专业技术微领域中的有效性仍不明确。本文探讨了在日立 JP1 中间件（一个用于专业 IT 运维的微领域）内进行领域适应的智能体微调。我们使用源自领域手册的 JP1 特定数据集以及由 LLM 自身生成的蒸馏推理轨迹对 LLM 进行了微调，从而提高了决策准确性和搜索效率。在推理过程中，我们使用了带有检索增强生成的智能体提示，并引入了上下文答案提取器以提高信息相关性。在 JP1 认证考试问题上，我们的方法比基础模型实现了 14% 的性能提升，展示了智能体微调在复杂微领域中进行特定领域推理的潜力。
引用
@article{arxiv.2510.00482,
title = {Agent Fine-tuning through Distillation for Domain-specific LLMs in Microdomains},
author = {Yawen Xue and Masaya Tsunokake and Yuta Koreeda and Ekant Muljibhai Amin and Takashi Sumiyoshi and Yasuhiro Sogawa},
journal= {arXiv preprint arXiv:2510.00482},
year = {2025}
}
备注
Accepted by AIxB 2025