EasyDistill：面向大语言模型有效知识蒸馏的综合工具包
计算与语言
2025-06-30 v2 人工智能
摘要
在本文中，我们提出了 EasyDistill，一个旨在对大语言模型（LLM）进行有效黑盒和白盒知识蒸馏（KD）的综合工具包。我们的框架提供多功能特性，包括专门针对 KD 场景定制的数据合成、监督微调、排序优化和强化学习技术。该工具包同时支持 System 1（快速、直觉）和 System 2（慢速、分析）模型的 KD 功能。凭借其模块化设计和用户友好的界面，EasyDistill 使研究人员和工业界从业者能够无缝地实验并实现针对 LLM 的最先进（SOTA）KD 策略。此外，EasyDistill 提供了一系列由我们开发的稳健蒸馏模型和基于 KD 的工业解决方案，以及相应的开源数据集，以满足各种用例。进一步地，我们描述了 EasyDistill 与阿里云人工智能平台（PAI）的无缝集成。总体而言，EasyDistill 工具包使 NLP 社区能够更便捷、更有效地使用针对 LLM 的高级 KD 技术。
引用
@article{arxiv.2505.20888,
title = {EasyDistill: A Comprehensive Toolkit for Effective Knowledge Distillation of Large Language Models},
author = {Chengyu Wang and Junbing Yan and Wenrui Cai and Yuanhao Yue and Jun Huang},
journal= {arXiv preprint arXiv:2505.20888},
year = {2025}
}