Shapley-NAS：基于 Shapley 值发现神经架构搜索中操作的贡献
机器学习
2022-06-22 v1 计算机视觉与模式识别
摘要
本文提出一种基于 Shapley 值的方法来评估神经架构搜索中操作的贡献(Shapley-NAS)。可微架构搜索(DARTS)通过梯度下降优化架构参数来获得最优架构，显著降低了搜索成本。然而，由梯度下降更新的架构参数的大小未能揭示操作对任务性能的实际重要性，从而损害了所得架构的有效性。相比之下，我们提出评估操作对验证精度的直接影响。为处理超网组件之间的复杂关系，我们利用 Shapley 值通过考虑所有可能的组合来量化它们的边际贡献。具体而言，我们迭代优化超网权重，并通过 Shapley 值评估操作贡献来更新架构参数，从而通过选择对任务有显著贡献的操作导出最优架构。由于 Shapley 值的精确计算是 NP-hard 的，我们采用基于蒙特卡洛采样且带早截断的算法进行高效近似，并采用动量更新机制来缓解采样过程的波动。在各种数据集和各种搜索空间上的大量实验表明，我们的 Shapley-NAS 以较轻的搜索成本大幅优于最先进的方法。代码可在 https://github.com/Euphoria16/Shapley-NAS.git 获取。
引用
@article{arxiv.2206.09811,
title = {Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search},
author = {Han Xiao and Ziwei Wang and Zheng Zhu and Jie Zhou and Jiwen Lu},
journal= {arXiv preprint arXiv:2206.09811},
year = {2022}
}
备注
Accepted to CVPR2022