RD-NAS：通过零成本代理的排序蒸馏增强一次性超网排序能力
计算机视觉与模式识别
2023-01-25 v1
摘要
神经架构搜索（NAS）在自动设计有效神经网络结构方面取得了巨大进展，但面临着沉重的计算负担。一次性 NAS 通过权重共享显著减轻了负担并提高了计算效率。零样本 NAS 进一步通过从网络初始状态预测其性能（不进行任何训练）来降低成本。两种方法都旨在区分“好”与“坏”的架构，即预测性能与真实性能的排序一致性。本文提出排序蒸馏一次性 NAS（RD-NAS）以增强排序一致性，其利用零成本代理作为廉价教师，并采用间隔排序损失来蒸馏排序知识。具体而言，我们提出一种间隔子网采样器，通过引入组距离作为间隔，将排序知识从零样本 NAS 蒸馏到一次性 NAS。我们在 NAS-Bench-201 和基于 ResNet 的搜索空间上的评估表明，RD-NAS 的排序能力分别实现了 10.7% 和 9.65% 的提升。我们的代码可在 https://github.com/pprp/CVPR2022-NAS-competition-Track1-3th-solution 获取。
引用
@article{arxiv.2301.09850,
title = {RD-NAS: Enhancing One-shot Supernet Ranking Ability via Ranking Distillation from Zero-cost Proxies},
author = {Peijie Dong and Xin Niu and Lujun Li and Zhiliang Tian and Xiaodong Wang and Zimian Wei and Hengyue Pan and Dongsheng Li},
journal= {arXiv preprint arXiv:2301.09850},
year = {2023}
}
备注
6 pages, 2 figures, 4 tables, ICASSP 2023