从错误中学习——一种神经架构搜索框架
机器学习
2022-01-17 v2 人工智能
摘要
从错误中学习是一种有效的人类学习技巧，学习者将更多注意力集中在曾犯错的题目上，从而加深理解。本文探讨这种人类学习策略能否应用于机器学习。我们提出一种称为从错误中学习（Learning From Mistakes, LFM）的新型机器学习方法，其中学习器通过在复习时更关注错误来提升其学习能力。我们将 LFM 表述为一个三阶段优化问题：1）学习器学习；2）学习器聚焦错误重新学习；3）学习器验证其学习成果。我们开发了求解 LFM 问题的高效算法。我们将 LFM 框架应用于 CIFAR-10、CIFAR-100 和 Imagenet 上的神经架构搜索。实验结果有力地证明了我们模型的有效性。
引用
@article{arxiv.2111.06353,
title = {Learning from Mistakes -- A Framework for Neural Architecture Search},
author = {Bhanu Garg and Li Zhang and Pradyumna Sridhara and Ramtin Hosseini and Eric Xing and Pengtao Xie},
journal= {arXiv preprint arXiv:2111.06353},
year = {2022}
}