基于动力学等距的严格公平神经架构搜索
机器学习
2023-07-07 v2 计算机与社会
摘要
近年来，权重共享技术显著加快了神经架构搜索的训练与评估过程。然而，现有大多数权重共享策略仅基于经验或观察，使得搜索结果缺乏可解释性与合理性。此外，由于对公平性的忽视，当前方法容易在模块评估中产生误判。为解决这些问题，我们提出了一种基于动力学等距的新型神经架构搜索算法。我们利用平均场理论中的不动点分析方法，研究稳态随机神经网络中的动力学行为，以及动力学等距如何保证基于权重共享的 NAS 的公平性。同时，我们通过估计所有具有良态雅可比矩阵的模块的泛化误差，证明了我们的模块选择策略是严格公平的。大量实验表明，在相同规模下，所提方法搜索得到的架构在 ImageNet 分类上可达到最先进的 top-1 验证准确率。此外，我们证明了我们的方法能够在不失一般性的前提下实现更好且更稳定的训练性能。
引用
@article{arxiv.2307.02263,
title = {Dynamical Isometry based Rigorous Fair Neural Architecture Search},
author = {Jianxiang Luo and Junyi Hu and Tianji Pang and Weihao Huang and Chuang Liu},
journal= {arXiv preprint arXiv:2307.02263},
year = {2023}
}