EPE-NAS：面向神经架构搜索的无训练高效性能估计
机器学习
2021-10-29 v1 计算机视觉与模式识别
摘要
神经架构搜索（NAS）在计算机视觉问题的架构设计中展现了优异结果。NAS 通过自动化架构设计与工程，减少了对人工设定参数的依赖。然而，NAS 方法往往较慢，因为它们需要大量 GPU 计算。这一瓶颈主要源于性能估计策略，该策略要求对生成的架构进行评估（主要通过训练）以更新采样器方法。本文提出 EPE-NAS，一种高效性能估计策略，通过对未训练网络打分并建立其与训练后性能的关联，缓解网络评估问题。我们通过考察未训练网络的类内与类间相关性来完成此过程。我们表明 EPE-NAS 能产生稳健的相关性，且将其纳入简单随机采样策略后，能够在单 GPU 上于数秒内搜索出具有竞争力的网络而无需任何训练。此外，EPE-NAS 与搜索方法无关，因其聚焦于未训练网络的评估，易于集成到几乎所有 NAS 方法中。
引用
@article{arxiv.2102.08099,
title = {EPE-NAS: Efficient Performance Estimation Without Training for Neural Architecture Search},
author = {Vasco Lopes and Saeid Alirezazadeh and Luís A. Alexandre},
journal= {arXiv preprint arXiv:2102.08099},
year = {2021}
}