神经架构迁移

Zhichao Lu; Gautam Sreekumar; Erik Goodman; Wolfgang Banzhaf; Kalyanmoy Deb; Vishnu Naresh Boddeti

doi:10.1109/TPAMI.2021.3052758

神经架构迁移

计算机视觉与模式识别 2021-03-23 v2 机器学习神经与进化计算

作者: Zhichao Lu , Gautam Sreekumar , Erik Goodman , Wolfgang Banzhaf , Kalyanmoy Deb , Vishnu Naresh Boddeti

在 arXiv 上查看 ↗ PDF ↗ DOI ↗

摘要

神经架构搜索（NAS）已成为自动设计特定任务神经网络的一条有前景的途径。现有NAS方法针对每个硬件或目标的部署规格都需要一次完整的搜索。考虑到潜在大量的应用场景，这是计算上不切实际的努力。在本文中，我们提出神经架构迁移（NAT）以克服此限制。NAT旨在高效生成在多个冲突目标下具有竞争力的特定任务定制模型。为实现该目标，我们学习特定任务的超网，从中可以采样专用子网络而无需任何额外训练。我们方法的关键是一种集成的在线迁移学习和多目标进化搜索过程。预训练超网被迭代适配，同时搜索特定任务的子网络。我们在11个基准图像分类任务上证明了NAT的有效性，范围从大规模多类到小规模细粒度数据集。在所有情况下，包括ImageNet，NATNets在移动设置下（ $\leq$ 600M Multiply-Adds）均优于最先进水平。令人惊讶的是，小规模细粒度数据集从NAT中受益最多。同时，架构搜索与迁移比现有NAS方法高效数个数量级。总体而言，实验评估表明，在多样的图像分类任务和计算目标上，NAT是比在标准数据集上学习的现有网络架构微调权重之常规迁移学习明显更有效的替代方案。代码见 https://github.com/human-analysis/neural-architecture-transfer

关键词

神经架构搜索迁移学习超网多目标进化搜索图像分类移动神经网络

引用

@article{arxiv.2005.05859,
  title  = {Neural Architecture Transfer},
  author = {Zhichao Lu and Gautam Sreekumar and Erik Goodman and Wolfgang Banzhaf and Kalyanmoy Deb and Vishnu Naresh Boddeti},
  journal= {arXiv preprint arXiv:2005.05859},
  year   = {2021}
}

备注

Code is available at https://github.com/human-analysis/neural-architecture-transfer

神经架构迁移

摘要

关键词

引用

备注

相关论文