CLOSE：基于共享程度课程学习以改进一次性神经架构搜索
计算机视觉与模式识别
2022-07-19 v1
摘要
一次性神经架构搜索（NAS）因其高效性已被广泛用于发现架构。然而，先前的研究揭示，由于架构之间操作参数的过度共享（即较大的共享程度），架构的一次性性能估计可能与其独立训练中的性能相关性不佳。因此，近期方法构建参数更为过量的超网络以减小共享程度。但这些改进方法引入了大量额外参数，从而在训练成本与排序质量之间造成了不利的权衡。为缓解上述问题，我们提出将基于共享程度的课程学习（CLOSE）应用于高效且有效地训练超网络。具体而言，我们在训练初期以较大共享程度（较易课程）训练超网络，并逐步减小超网络的共享程度（较难课程）。为支持该训练策略，我们设计了一种新颖的超网络（CLOSENet），将参数与操作解耦以实现灵活的共享方案和可调的共享程度。大量实验表明，CLOSE 在不同计算预算约束下比其他一次性超网络获得更好的排序质量，并且当与各种搜索策略结合时能够发现更优架构。代码见 https://github.com/walkerning/aw_nas。
引用
@article{arxiv.2207.07868,
title = {CLOSE: Curriculum Learning On the Sharing Extent Towards Better One-shot NAS},
author = {Zixuan Zhou and Xuefei Ning and Yi Cai and Jiashu Han and Yiping Deng and Yuhan Dong and Huazhong Yang and Yu Wang},
journal= {arXiv preprint arXiv:2207.07868},
year = {2022}
}
备注
accepted by ECCV 2022 (14 pages main texts)