用于改进弹性学生模型的 Matryoshka 模型学习
机器学习
2025-12-03 v3 人工智能
摘要
工业级机器学习 (ML) 模型经过精心设计以满足快速演进的服务约束，这需要大量的模型开发资源。在本文中，我们提出了 MatTA，这是一个使用新颖的 Teacher-TA-Student 方案训练多个精确学生模型的框架。TA 模型是具有更高容量的学生模型的更大版本，因此能够使学生模型更好地与教师模型相关联，并引入更多特定领域的专业知识。此外，可以从 TA 模型中提取多个精确的学生模型。因此，尽管只进行一次训练运行，我们的方法仍提供了多个可服务的选项，以在准确率与更低的服务成本之间进行权衡。我们在专有数据集和模型上演示了所提出的方法 MatTA。生产 ML 系统中的在线 A/B 测试突显了其实际有效性，在关键指标上实现了 20% 的提升。我们还在公开模型 GPT-2 Medium 上演示了我们的方法，在 SAT Math 上实现了超过 24% 的相对提升，在 LAMBADA 基准上实现了超过 10% 的相对提升。
引用
@article{arxiv.2505.23337,
title = {Matryoshka Model Learning for Improved Elastic Student Models},
author = {Chetan Verma and Aditya Srinivas Timmaraju and Cho-Jui Hsieh and Suyash Damle and Ngot Bui and Yang Zhang and Wen Chen and Xin Liu and Prateek Jain and Inderjit S Dhillon},
journal= {arXiv preprint arXiv:2505.23337},
year = {2025}
}
备注
10 pages, 5 figures, Accepted at KDD 2025