设身处地：用于超紧凑模型压缩框架的交叉蒸馏
计算与语言
2025-07-08 v1
摘要
在移动计算时代，在资源受限的边缘环境中部署高效的自然语言处理(NLP)模型面临着重大挑战，特别是在需要严格隐私合规、实时响应和多样化多任务能力的场景中。这些挑战催生了对超紧凑模型的基本需求，这些模型需要在遵守严格内存限制的同时，在各种NLP任务中保持强大性能。为此，我们介绍了Edge ultra-lIte BERT框架(EI-BERT)及其新颖的交叉蒸馏方法。EI-BERT通过包括硬标记剪枝、交叉蒸馏和参数量化在内的全面流程高效地压缩模型。具体来说，交叉蒸馏方法独特地将教师模型定位为理解学生模型的视角，通过参数整合和模型间的相互作用确保高效的知识迁移。通过大量实验，我们实现了一个仅1.91 MB的极其紧凑的基于BERT的模型——这是迄今为止用于自然语言理解(NLU)任务的最小模型。这个超紧凑模型已成功部署在支付宝生态系统内的多个场景中，展示了在现实应用中的显著改进。例如，自2024年1月起，它已集成到支付宝的直播边缘推荐系统中，目前服务于该应用在\textbf{840万台日活跃设备}上的推荐流量。
引用
@article{arxiv.2507.04636,
title = {Put Teacher in Student's Shoes: Cross-Distillation for Ultra-compact Model Compression Framework},
author = {Maolin Wang and Jun Chu and Sicong Xie and Xiaoling Zang and Yao Zhao and Wenliang Zhong and Xiangyu Zhao},
journal= {arXiv preprint arXiv:2507.04636},
year = {2025}
}
备注
Accepted by KDD 2025