委员会的智慧：从基础模型蒸馏到专用应用模型
机器学习
2024-05-16 v3 人工智能
摘要
基础模型的最新进展在各种任务中产生了令人印象深刻的性能。与此同时，针对特定应用，从业者一直在开发专用应用模型。为了兼得两类模型的优势，一条自然的路径是将基础模型中的知识迁移到专用应用模型中，后者通常在服务方面更高效。知识蒸馏技术可应用于此，即应用模型学习模仿基础模型。然而，专用应用模型与基础模型在容量上存在巨大差距，采用不同的架构，使用来自不同模态的不同输入特征，并在不同的分布上进行优化。这些模型特征的差异给蒸馏方法带来了重大挑战。在这项工作中，我们提议创建一个由基础模型教师和互补教师组成的教学委员会。互补教师拥有与学生相似的特征，旨在弥合基础模型与专用应用模型之间的差距，以实现更平滑的知识迁移。此外，为了适应委员会中教师之间的差异性，我们引入了 DiverseDistill，使学生能够理解每位教师的专长并提取任务知识。我们的评估表明，添加互补教师提升了学生模型的性能。最后，无论教师选择如何，DiverseDistill 始终优于基线蒸馏方法，从而显著提高了学生模型的性能。
引用
@article{arxiv.2402.14035,
title = {Wisdom of Committee: Distilling from Foundation Model to Specialized Application Model},
author = {Zichang Liu and Qingyun Liu and Yuening Li and Liang Liu and Anshumali Shrivastava and Shuchao Bi and Lichan Hong and Ed H. Chi and Zhe Zhao},
journal= {arXiv preprint arXiv:2402.14035},
year = {2024}
}