HEP-NAS：通过层次化边划分实现高效少样本神经网络架构搜索
机器学习
2024-12-17 v1 计算机视觉与模式识别
摘要
单样本方法通过采用权重共享策略显著降低了神经网络架构搜索（NAS）的搜索成本。然而，由于协适问题，性能估计的准确性可能受到影响。少样本方法通过按边划分整个超网络来缓解此问题，但忽视了边之间的关系，导致在大型搜索空间上性能下降。本文引入HEP-NAS，一种面向层次化划分的算法，以进一步提升准确性。首先，HEP-NAS将共享相同终端节点的边视为一个层次，对同一层次内的边进行排列和划分，直接搜索每个中间节点的最优操作组合。这种方法更贴合NAS的最终目标。此外，HEP-NAS在每一次划分后选择最有前景的子超网络，逐步缩小其中可能存在最优架构的搜索空间。为提高子超网络性能评估，HEP-NAS采用搜索空间互知识蒸馏，稳定训练过程并加速每个 individual 子超网络的收敛。在给定预算内，HEP-NAS能够完成所有边的划分，并逐步搜索出更高准确率的架构。跨多个数据集和搜索空间的实验结果表明，HEP-NAS优于最先进的方法。
引用
@article{arxiv.2412.10723,
title = {HEP-NAS: Towards Efficient Few-shot Neural Architecture Search via Hierarchical Edge Partitioning},
author = {Jianfeng Li and Jiawen Zhang and Feng Wang and Lianbo Ma},
journal= {arXiv preprint arXiv:2412.10723},
year = {2024}
}