通过自动化超网络生成赋能神经架构搜索
机器学习
2021-12-22 v1
摘要
近期的神经架构搜索（NAS）方案在训练超网络并随后导出子网络（亦称在预定义搜索空间中优于专家设计模型的子模型）方面取得了令人印象深刻的成果。可以为资源受限的边缘设备选择高效且鲁棒的子网络，使其在实际环境中表现良好。然而，为任意架构构建超网络仍是一项挑战，常阻碍这些方法的采用。为应对该挑战，我们提出 BootstrapNAS，一个用于 NAS 自动生成超网络的软件框架。BootstrapNAS 接收来自流行架构（如 ResNet-50）或有效自定义设计的预训练模型，并自动从中创建超网络，然后使用最先进的 NAS 技术训练该超网络，得到的子网络显著优于给定的预训练模型。我们通过从任意模型仓库生成超网络来展示该方案，并提供了生成的超网络以保证结果的可复现性。
引用
@article{arxiv.2112.10878,
title = {Enabling NAS with Automated Super-Network Generation},
author = {J. Pablo Muñoz and Nikolay Lyalyushkin and Yash Akhauri and Anastasia Senina and Alexander Kozlov and Nilesh Jain},
journal= {arXiv preprint arXiv:2112.10878},
year = {2021}
}
备注
Accepted at AAAI2022 - Practical Deep Learning in the Wild