K-shot NAS：具有K-shot超网的NAS可学习权值共享
计算机视觉与模式识别
2021-06-14 v1 机器学习
摘要
在NAS的一次性权值共享中，每个操作（在每一层）的权值对于超网中的所有架构（路径）应当是相同的。然而，这排除了调整操作权值以适应不同路径的可能性，限制了评估结果的可靠性。在本文中，我们不再依赖单一超网，而是引入-shot超网，并将其每个操作的权值视为一个字典。每条路径的操作权值表示为字典中各项与单纯形码的凸组合。这使得独立权值矩阵的矩阵近似具有更高的秩（）。我们引入一个\textit{simplex-net}为每条路径生成架构定制的码。因此，所有路径都能自适应地学习如何在-shot超网中共享权值，并获得相应的权值以更好地评估。-shot超网和simplex-net可以迭代训练，我们进一步将搜索扩展到通道维度。在基准数据集上的大量实验验证了K-shot NAS显著提高了路径的评估精度，从而带来了令人印象深刻的性能提升。
引用
@article{arxiv.2106.06442,
title = {K-shot NAS: Learnable Weight-Sharing for NAS with K-shot Supernets},
author = {Xiu Su and Shan You and Mingkai Zheng and Fei Wang and Chen Qian and Changshui Zhang and Chang Xu},
journal= {arXiv preprint arXiv:2106.06442},
year = {2021}
}
备注
Accepted by ICML 2021