Peephole：在训练前预测网络性能
机器学习
2017-12-12 v1 计算机视觉与模式识别
神经与进化计算
机器学习
摘要
对高性能网络的追求一直是近年来推动深度学习发展的显著力量。尽管回报丰厚，改进网络设计从来不是易事。巨大的设计空间连同网络训练所需的巨大代价，对此努力构成主要障碍。本工作中我们提出解决该问题的新思路，即基于网络架构在训练前预测其性能。具体而言，我们开发了一种将各层统一编码为向量并通过 LSTM 汇聚成整体描述的方法。利用循环网络强大的表达能力，该方法能可靠预测多种网络架构的性能。我们的实证研究表明，其不仅实现准确预测，还跨数据集产生一致排序——这是性能预测的一项关键诉求。
引用
@article{arxiv.1712.03351,
title = {Peephole: Predicting Network Performance Before Training},
author = {Boyang Deng and Junjie Yan and Dahua Lin},
journal= {arXiv preprint arXiv:1712.03351},
year = {2017}
}