萤火虫神经架构下降：一种用于增长神经网络的通用方法
机器学习
2021-06-22 v2
摘要
我们提出萤火虫神经架构下降（firefly neural architecture descent），一种逐步且动态地增长神经网络以联合优化网络参数与架构的通用框架。我们的方法以最速下降方式工作，迭代地在包含多种候选网络结构的原网络函数邻域内寻找最优网络。通过使用泰勒近似，可用贪心选择过程找到邻域内的最优网络结构。我们表明萤火虫下降能灵活地将网络变宽和变深，并可用于学习准确且资源高效的神经架构，从而在持续学习中避免灾难性遗忘。在经验上，萤火虫下降在神经架构搜索与持续学习上都取得了有前景的结果。特别是在一项具有挑战性的持续图像分类任务上，它学到的网络规模更小，但平均准确率高于最先进方法学到的网络。
引用
@article{arxiv.2102.08574,
title = {Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks},
author = {Lemeng Wu and Bo Liu and Peter Stone and Qiang Liu},
journal= {arXiv preprint arXiv:2102.08574},
year = {2021}
}