面向高效神经架构搜索的可扩展代理
机器学习
2022-10-19 v1 人工智能
计算机视觉与模式识别
摘要
神经架构搜索(NAS)已成为近期 AutoML 趋势中设计深度神经网络(DNNs)的事实标准方法。为进一步解决 NAS 的计算需求问题，研究者提出了高效或近零代价的 NAS 代理，其中每个候选架构网络仅需一次反向传播迭代。从代理获得的值被视为架构在下游任务上性能的预测。然而，两个显著缺陷阻碍了高效 NAS 代理的扩展使用。(1) 高效代理不能适应不同的搜索空间。(2) 高效代理不能扩展到多模态下游任务。基于上述观察，我们设计了一个可扩展代理(Eproxy)，其利用自监督的少样本训练(即 10 次反向传播迭代)从而产生近零代价。使 Eproxy 高效的关键组件是一个称为屏障层的不可训练卷积层，它为优化空间添加非线性，使 Eproxy 能在早期阶段判别架构性能。此外，为使 Eproxy 适应不同下游任务/搜索空间，我们提出离散代理搜索(DPS)，仅用目标任务上少量基准架构即可为 Eproxy 找到优化训练设置。我们的大量实验证实了 Eproxy 与 Eproxy+DPS 的有效性。代码见 https://github.com/leeyeehoo/GenNAS-Zero。
引用
@article{arxiv.2210.09459,
title = {Extensible Proxy for Efficient NAS},
author = {Yuhong Li and Jiajie Li and Cong Han and Pan Li and Jinjun Xiong and Deming Chen},
journal= {arXiv preprint arXiv:2210.09459},
year = {2022}
}