资源高效神经架构师
神经与进化计算
2018-06-22 v1 人工智能
摘要
神经架构搜索（NAS）是一个费力的过程。先前关于自动化 NAS 的工作主要瞄准提升准确率，但缺乏对于计算资源使用的考量。我们提出资源高效神经架构师（RENA），一种使用带网络嵌入的强化学习的资源受限高效 NAS。RENA 使用策略网络处理网络嵌入以生成新配置。我们在图像识别和关键词 spotting（KWS）问题上展示了 RENA。RENA 能发现即使在严苛资源约束下也实现高性能的新颖架构。对于 CIFAR10，当计算强度大于 100 FLOPs/byte 时，它达到 2.95% 测试误差；当模型尺寸小于 3M 参数时，达到 3.87% 测试误差。对于 Google Speech Commands Dataset，RENA 在无资源约束下达到最优准确率，并且在严苛资源约束下优于优化过的架构。
引用
@article{arxiv.1806.07912,
title = {Resource-Efficient Neural Architect},
author = {Yanqi Zhou and Siavash Ebrahimi and Sercan Ö. Arık and Haonan Yu and Hairong Liu and Greg Diamos},
journal= {arXiv preprint arXiv:1806.07912},
year = {2018}
}