AttentiveNAS：通过注意力采样改进神经架构搜索
计算机视觉与模式识别
2021-04-15 v2 机器学习
摘要
神经架构搜索（NAS）在设计既准确又高效的 SOTA 模型方面展现出了巨大潜力。最近，两阶段 NAS（例如 BigNAS）解耦了模型训练和搜索过程，并实现了显著的搜索效率和准确率。两阶段 NAS 需要在训练期间从搜索空间中采样，这直接影响最终搜索模型的准确率。虽然均匀采样因其简单性而被广泛使用，但它对模型性能 Pareto 前沿（搜索过程的主要焦点）是不可知的，因此错失了进一步提高模型准确率的机会。在这项工作中，我们提出了 AttentiveNAS，专注于改进采样策略以实现更好的性能 Pareto。我们还提出了算法，以在训练期间有效且高效地识别 Pareto 上的网络。无需额外的重新训练或后处理，我们可以同时获得跨越广泛 FLOPs 范围的大量网络。我们发现的模型系列 AttentiveNAS 模型在 ImageNet 上实现了从 77.3% 到 80.7% 的 top-1 准确率，并优于包括 BigNAS 和 Once-for-All 网络在内的 SOTA 模型。我们还以仅 491 MFLOPs 实现了 80.1% 的 ImageNet 准确率。我们的训练代码和预训练模型可在 https://github.com/facebookresearch/AttentiveNAS 获取。
引用
@article{arxiv.2011.09011,
title = {AttentiveNAS: Improving Neural Architecture Search via Attentive Sampling},
author = {Dilin Wang and Meng Li and Chengyue Gong and Vikas Chandra},
journal= {arXiv preprint arXiv:2011.09011},
year = {2021}
}
备注
2021 Conference on Computer Vision and Pattern Recognition