以教促学及其在神经架构搜索中的应用
机器学习
2021-03-15 v1 人工智能
摘要
在人类学习中，提升学习成效的一项有效技能是以教促学：学习者通过向他人讲授某一主题来加深对它的理解。在本文中，我们旨在从人类身上借鉴这种以教学驱动的学习方法，并利用它来训练性能更强的机器学习模型，为此提出一种称为以教促学（LBT）的新型机器学习框架。在 LBT 框架中，教师模型通过教导学生模型学好而提升自身。具体而言，教师创建伪标记数据集并用其训练学生模型。基于学生在验证数据集上的表现，教师重新学习其模型并重新教导学生，直到学生取得优异的验证性能。我们的框架基于三级优化，包含三个阶段：教师学习；教师教导学生；教师基于学生表现重新学习。我们开发了一种简单而高效的算法来求解该三级优化问题。我们将 LBT 应用于在 CIFAR-10、CIFAR-100 和 ImageNet 上搜索神经架构。我们方法的有效性在多项实验中得到验证。
引用
@article{arxiv.2103.07009,
title = {Learning by Teaching, with Application to Neural Architecture Search},
author = {Parth Sheth and Yueyu Jiang and Pengtao Xie},
journal= {arXiv preprint arXiv:2103.07009},
year = {2021}
}