Transformer Copilot：从LLM微调中的错误日志中学习
计算与语言
2025-11-17 v2 人工智能
机器学习
摘要
大型语言模型通常通过针对特定领域数据进行监督式微调来适应下游任务。虽然标准微调 focuses on 通过最小化生成损失来优化模型参数，但我们采取更深入的步骤，保留并利用模型自身的学习信号，类似于人类学习者通过反思过去的错误来提高未来表现。我们首先引入错误日志（Mistake Log）概念，以系统性地跟踪模型在微调期间的学习行为和持续性错误。将原始基于Transformer的模型作为“飞行员”（Pilot），我们相应地设计了一个“Copilot”模型，通过 logits 校正来提升 Pilot 的推理性能。我们将整个 Pilot-Copilot 框架称为 Transformer Copilot，其引入了 (i) 一种新的 Copilot 模型设计、(ii) 当 Copilot 持续从演化中的错误日志中学习的联合训练范式，以及 (iii) 当 Copilot 对 Pilot 的 logits 进行校正以提升生成性能的融合推理范式。我们对这一新型学习框架提供了理论和实证分析。在覆盖 commonsense、算术和推荐任务的 12 个基准测试上进行实验，表明 Transformer Copilot 能将性能提升最高可达 34.5%，同时对 Pilot 模型的计算开销保持有限，且具有良好的可扩展性和可迁移性。我们的代码已发布于 https://github.com/jiaruzouu/TransformerCopilot。
引用
@article{arxiv.2505.16270,
title = {Transformer Copilot: Learning from The Mistake Log in LLM Fine-tuning},
author = {Jiaru Zou and Yikun Ban and Zihao Li and Yunzhe Qi and Ruizhong Qiu and Ling Yang and Jingrui He},
journal= {arXiv preprint arXiv:2505.16270},
year = {2025}
}
备注
NeurIPS 2025 Spotlight