激活函数与跳跃连接搜索下NAS的泛化性质
机器学习
2023-11-02 v4 人工智能
摘要
神经架构搜索（NAS）推动了最先进神经架构的自动发现。尽管NAS取得了进展，迄今为止对其理论保证的关注甚少。本工作中，我们在一个统一框架下研究NAS的泛化性质，该框架支持（深层）层跳跃连接搜索与激活函数搜索。为此，我们使用包含混合激活函数、全连接与残差神经网络的特定搜索空间，推导了神经切线核（NTK）最小特征值的下界（与上界），适用于（非）无限宽度情形。我们利用最小特征值建立随机梯度下降训练中NAS的泛化误差界。重要的是，我们从理论与实验上展示了所推导结果如何指导NAS选择性能最优的架构，即便在未训练的情况下也能实现，从而基于我们的理论得到一种免训练算法。相应地，我们的数值验证为设计计算高效的NAS方法提供了启示。由于统一框架下多种架构与激活函数的耦合，我们的分析并非平凡，并且其在给出深度学习中NTK最小特征值的下界方面具有独立意义。
引用
@article{arxiv.2209.07238,
title = {Generalization Properties of NAS under Activation and Skip Connection Search},
author = {Zhenyu Zhu and Fanghui Liu and Grigorios G Chrysos and Volkan Cevher},
journal= {arXiv preprint arXiv:2209.07238},
year = {2023}
}
备注
Accepted in NeurIPS 2022