从业余到大师：通过自动课程学习将知识注入 LLM
计算与语言
2025-10-31 v1 人工智能
摘要
大型语言模型 (LLM) 在通用任务上表现出色，但在需要深刻、原则性理解的专业领域（如经济学和心理学）时表现不佳。为此，我们提出了 ACER (Automated Curriculum-Enhanced Regimen)，将通用模型转化为领域专家而不牺牲其广泛能力。ACER 首先通过生成某学科的目录内容，然后根据布鲁姆分类学创建问答 (QA) 对，这确保了系统的主题覆盖和逐渐增加的难度。 resulting synthetic corpus 用于进行持续预训练，以交错课程计划方式进行训练，实现内容和认知维度上的学习对齐。使用 Llama 3.2 (1B 和 3B) 的实验显示，在专业 MMLU 子集上 ACER 均取得显著提升。在经济学等具有挑战性的领域，基准模型难以应对，ACER 将准确率提升 5 个百分点。在所有目标领域中，我们观察到宏观平均准确率提升 3 个百分点。值得注意的是，ACER 不仅防止了灾难性遗忘，还促进了正面的跨域知识迁移，在非目标领域上的性能提升了 0.7 个百分点。除了 MMLU，ACER 在知识密集型基准测试如 ARC 和 GPQA 上性能提升超过 2 个百分点，而在保持稳定一般推理任务性能的同时取得显著进步。我们的结果表明，ACER 提供了一种可扩展且有效的方法，对于缩小 LLM 在关键领域之间的差距具有重要意义。
引用
@article{arxiv.2510.26336,
title = {From Amateur to Master: Infusing Knowledge into LLMs via Automated Curriculum Learning},
author = {Nishit Neema and Srinjoy Mukherjee and Sapan Shah and Gokul Ramakrishnan and Ganesh Venkatesh},
journal= {arXiv preprint arXiv:2510.26336},
year = {2025}
}