通过任务特定元蒸馏实现紧凑模型的少样本学习
机器学习
2022-10-19 v1
摘要
我们考虑紧凑模型少样本学习的一个新问题。元学习是少样本学习的一种流行方法。以往的元学习工作通常假设元训练期间的模型架构与最终部署时使用的模型架构相同。在本文中，我们挑战这一基本假设。对于最终部署，我们通常需要模型较小。但小模型通常没有足够的容量来有效适应新任务。同时，由于在服务器上执行元训练，我们在元训练期间通常可以使用大型数据集和大量计算资源。在本文中，我们提出任务特定元蒸馏，在元学习中同时学习两个模型：一个大教师模型和一个小学生模型。这两个模型在元训练期间联合学习。在元测试期间给定新任务时，首先将该教师模型适应于此任务，然后使用适应后的教师模型来指导学生对模型的适应。适应后的学生模型用于最终部署。我们使用模型无关元学习（MAML）在少样本图像分类中证明了我们方法的有效性。我们提出的方法在多个基准数据集上优于其他替代方法。
引用
@article{arxiv.2210.09922,
title = {Few-Shot Learning of Compact Models via Task-Specific Meta Distillation},
author = {Yong Wu and Shekhor Chanda and Mehrdad Hosseinzadeh and Zhi Liu and Yang Wang},
journal= {arXiv preprint arXiv:2210.09922},
year = {2022}
}
备注
This paper has been accepted by WACV'2023