面向语言模型知识蒸馏的教育学启发数据合成
人工智能
2026-02-13 v1 计算与语言
摘要
从大型语言模型（Large Language Models, LLMs）蒸馏到小型模型已成为部署高效 AI 系统的关键技术，但当前基于合成数据的蒸馈方法缺乏教育学意识，将知识传递视为一次性数据合成和训练任务，而非系统性学习过程。本文提出一种基于教育原则的教育学启发 LLM 知识蒸馈框架。我们的方法引入三阶段管道——知识识别器、组织器与适配器（Knowledge Identifier, Organizer, and Adapter, IOA），系统性地识别学生模型中的知识缺陷，通过渐进式课程组织知识交付，并适配表示以匹配学生模型的认知容量。我们整合布卢姆的掌握学习原则和维果茨基的近似开发区（Zone of Proximal Development, ZPD），创建动态蒸馈过程，使学生模型在掌握先决知识后才能进阶，新知识以受控、渐进的难度递增方式引入。广泛实验表明，IOA 使用 LLaMA-3.1/3.2 和 Qwen2.5 作为学生模型，相较于基线蒸馈方法实现显著提升，学生模型在 DollyEval 上保留 94.7% 的教师性能，参数使用不足基线的 1/10。该框架在复杂推理任务中尤为出色，MATH 和 HumanEval 分别提升 19.2% 和 22.3%。
引用
@article{arxiv.2602.12172,
title = {Pedagogically-Inspired Data Synthesis for Language Model Knowledge Distillation},
author = {Bowei He and Yankai Chen and Xiaokun Zhang and Linghe Kong and Philip S. Yu and Xue Liu and Chen Ma},
journal= {arXiv preprint arXiv:2602.12172},
year = {2026}
}
备注
Accepted by ICLR 2026