通过候选增强与渐进训练提升超网排序相关性
计算机视觉与模式识别
2021-08-13 v1
摘要
一次性神经架构搜索（NAS）应用权重共享超网以降低自动化架构设计难以承受的计算开销。然而，权重共享技术因不同候选网络间的相互干扰而恶化了性能的排序一致性。为解决此问题，我们提出候选增强方法与渐进训练流程以提升超网的排序相关性。具体而言，我们精心重新设计超网中的子网络，并将原始超网映射到一个高容量的新超网。此外，我们逐步添加超网的窄分支以减少权重共享程度，有效缓解子网络间的相互干扰。最终，我们的方法在CVPR2021首届轻量级NAS挑战赛的Supernet赛道中排名第一。
引用
@article{arxiv.2108.05866,
title = {Improving Ranking Correlation of Supernet with Candidates Enhancement and Progressive Training},
author = {Ziwei Yang and Ruyi Zhang and Zhi Yang and Xubo Yang and Lei Wang and Zheyang Li},
journal= {arXiv preprint arXiv:2108.05866},
year = {2021}
}
备注
5 pages, 2 figures. CVPR2021 NAS challenge