先验引导的单次神经架构搜索
计算机视觉与模式识别
2022-06-28 v1
摘要
神经架构搜索方法通过高效的权重共享超网训练寻找最优候选。然而，近期研究表明独立架构与共享权重网络之间性能排名一致性较差。本文提出先验引导的单次 NAS（PGONAS）以增强超网的排名相关性。具体而言，我们首先探究激活函数的影响，并基于 Sandwich Rule 提出一种平衡采样策略以缓解超网中的权重耦合。随后，采用 FLOPs 和 Zen-Score 以排名相关性损失引导超网训练。我们的 PGONAS 在 CVPR2022 第二届轻量级 NAS 挑战赛超网赛道中获得第 3 名。代码见 https://github.com/pprp/CVPR2022-NAS?competition-Track1-3th-solution。
引用
@article{arxiv.2206.13329,
title = {Prior-Guided One-shot Neural Architecture Search},
author = {Peijie Dong and Xin Niu and Lujun Li and Linzhen Xie and Wenbin Zou and Tian Ye and Zimian Wei and Hengyue Pan},
journal= {arXiv preprint arXiv:2206.13329},
year = {2022}
}
备注
Official 3st Place Solution for the Second workshop Neural Architecture Search Second lightweight NAS Challenge 2022 - Track1 Supernet Track. Official leaderboard: https://aistudio.baidu.com/aistudio/competition/detail/149/0/leaderboard CVPR 2022 Workshop: https://cvpr-nas.com/competition