TND-NAS：在渐进式可微NAS框架中面向不可微目标
机器学习
2023-07-04 v4 人工智能
摘要
可微架构搜索因其相较于早期NAS方法的高效性，已逐渐成为神经架构搜索（NAS）领域的主流研究课题。近期的可微NAS还旨在进一步提升搜索性能并降低GPU内存消耗。然而，这些方法自然不再能够处理不可微目标，例如能耗、资源受限效率及其他指标，更不用说多目标搜索需求。多目标NAS领域的研究针对此问题，但因对每个候选架构单独优化而需要大量计算资源。鉴于此差距，我们提出TND-NAS，其兼具可微NAS框架的高效性以及多目标NAS中不可微指标的兼容性。在可微NAS框架下，通过对搜索空间的连续松弛，TND-NAS使架构参数在离散空间中优化，同时借助架构参数实现渐进式搜索空间收缩。我们以两个目标（参数量、准确率）为代表实验，在CIFAR10（1.09M/3.3%、2.4M/2.95%、9.57M/2.54%）和CIFAR100（2.46M/18.3%、5.46/16.73%、12.88/15.20%）数据集上获得一系列高性能紧凑架构。有利的是，与其他多目标NAS方法相比，TND-NAS耗时更少（在NVIDIA 1080Ti上为1.3 GPU-天，为NSGA-Net的1/6），并且可便捷适配真实世界NAS场景（资源受限、平台专用）。
引用
@article{arxiv.2111.03892,
title = {TND-NAS: Towards Non-differentiable Objectives in Progressive Differentiable NAS Framework},
author = {Bo Lyu and Shiping Wen},
journal= {arXiv preprint arXiv:2111.03892},
year = {2023}
}