几乎无需训练的多目标神经架构搜索
计算机视觉与模式识别
2020-11-30 v1 机器学习
神经与进化计算
摘要
近年来，神经架构搜索(NAS)日益受到学术界与工业界的关注。尽管不断有令人印象深刻的实证结果涌现，现有多数 NAS 算法因随机梯度下降(SGD)训练的成本高昂迭代而计算开销巨大。本工作中，我们提出一种有效替代方案，称为随机权重评估(RWE)，以快速估计网络架构性能。仅训练最后的线性分类层，RWE 将评估一个架构的计算成本从数小时降至数秒。当集成于进化多目标算法中时，RWE 在单块 GPU 卡上搜索不到两小时便获得一组在 CIFAR-10 上达到最先进性能的高效架构。关于秩序相关性的消融研究及向 ImageNet 的迁移学习实验进一步验证了 RWE 的有效性。
引用
@article{arxiv.2011.13591,
title = {Multi-objective Neural Architecture Search with Almost No Training},
author = {Shengran Hu and Ran Cheng and Cheng He and Zhichao Lu},
journal= {arXiv preprint arXiv:2011.13591},
year = {2020}
}
备注
EMO 2021