面向多目标进化神经架构搜索的 Pareto 式排序分类器
机器学习
2024-03-12 v2
摘要
在深度神经模型部署中，如何在不同设计目标下有效且自动地找到可行深度模型是基础性课题。多数现有神经架构搜索（NAS）方法利用代理模型在搜索中预测候选架构的详细性能（如准确率与模型大小），但这复杂且低效。相比之下，我们旨在学习一种高效的 Pareto 分类器，将复杂的多目标 NAS 任务转化为简单的 Pareto 支配分类任务，以简化 NAS 搜索过程。为此，我们提出一种用于一次性 NAS 的分类式 Pareto 进化方法，其中训练一个在线分类器来预测候选架构与所构建参考架构间的支配关系，而非使用代理模型拟合目标函数。本研究的主要贡献是将超网（supernet）适配转变为 Pareto 分类器。此外，我们设计了两种自适应方案，分别用于选择参考架构集以构建分类边界，以及调节正样本相对于负样本的比例。我们在广泛使用的基准数据集上将所提进化方法与最先进方法比较，实验结果表明所提方法优于其他方法，并在不同目标与约束下找到了模型大小从 2M 到 6M 不等的若干神经架构。
引用
@article{arxiv.2109.07582,
title = {Pareto-wise Ranking Classifier for Multi-objective Evolutionary Neural Architecture Search},
author = {Lianbo Ma and Nan Li and Guo Yu and Xiaoyu Geng and Min Huang and Xingwei Wang},
journal= {arXiv preprint arXiv:2109.07582},
year = {2024}
}