基于反事实解释的少样本 LLM 知识蒸馏
机器学习
2025-10-27 v1 人工智能
计算与语言
计算机与社会
机器学习
摘要
知识蒸馏是一种将复杂教师模型的能力转移到小型、资源高效且易于部署的学生模型的有前景方法，尤其适用于任务感知场景。然而，现有的任务感知蒸馏方法通常需要大量数据，而在许多实际场景中数据可能不可得或获取昂贵。本文提出一种新策略，称为 Counterfactual-explanation-infused Distillation CoD，用于少样本任务感知知识蒸馏，通过系统性地引入反事实解释。反事实解释 (CFEs) 指的是能够通过最小扰动翻转教师模型输出预测的输入。我们的策略 CoD 利用这些 CFEs 来用大幅度更少的样本精确映射教师的决策边界。我们从统计和几何视角提供了理论保证，阐述了 CFEs 在蒸馏中的作用。我们在数学上表明，CFEs 通过提供决策边界附近更具信息性的样本来改进参数估计。我们还从几何视角推导，表明 CFEs 有效地充当知识探针，帮助学生比标准数据更有效地模仿教师的决策边界。我们在 various 数据集和 LLMs 上进行实验，表明 CoD 在少样本情境下（最低可达 8-512 个样本）优于标准蒸馏方法。值得注意的是，CoD 只使用基线使用的原始样本的一半，配合其相应的 CFEs，仍能提升性能。
引用
@article{arxiv.2510.21631,
title = {Few-Shot Knowledge Distillation of LLMs With Counterfactual Explanations},
author = {Faisal Hamman and Pasan Dissanayake and Yanjun Fu and Sanghamitra Dutta},
journal= {arXiv preprint arXiv:2510.21631},
year = {2025}
}
备注
NeurIPS 2025