HardCoRe-NAS：硬约束可微神经架构搜索
机器学习
2021-02-24 v1 人工智能
计算机视觉与模式识别
最优化与控制
机器学习
摘要
神经网络的现实应用通常要求满足延迟、能耗和内存等多重约束。寻找合适网络的一种流行方法是通过约束神经架构搜索（NAS），然而以往的方法仅以软约束方式实施约束。因此，所得网络并不能精确满足资源约束，其准确率也受到损害。在本工作中，我们通过引入硬约束可微NAS（HardCoRe-NAS）来解决这一问题，该方法基于期望资源需求的精确表述以及一种在搜索过程中始终满足硬约束的可扩展搜索方法。我们的实验表明，HardCoRe-NAS 在严格满足硬资源约束且无需任何调参的情况下，生成了超越其他 NAS 方法的当前最优（state-of-the-art）架构。
引用
@article{arxiv.2102.11646,
title = {HardCoRe-NAS: Hard Constrained diffeRentiable Neural Architecture Search},
author = {Niv Nayman and Yonathan Aflalo and Asaf Noy and Lihi Zelnik-Manor},
journal= {arXiv preprint arXiv:2102.11646},
year = {2021}
}
备注
Niv Nayman and Yonathan Aflalo contributed equally. An implementation of HardCoRe-NAS is available at: https://github.com/Alibaba-MIIL/HardCoReNAS