零样本NAS通过抑制局部熵减

架构性能评估是神经网络架构搜索（NAS）中最耗时的部分。零样本NAS通过利用零成本代理而非训练来加速评估。尽管有效，现有的零成本代理需要调用反向传播或在输入数据上运行网络，使得进一步加速代理计算变得困难。为缓解此问题，本研究利用架构拓扑来评估网络性能。我们证明特定的架构拓扑会降低特征图的局部熵，将特定特征退化至偏置，从而降低网络性能。基于此证明，架构拓扑被用于量化局部熵减抑制（SED）作为无数据和无运行代理。实验结果表明，SED在五个基准测试的架构选择方面优于大多数最先进的代理，计算时间减少了三个数量级。我们进一步将基于SED的NAS与最先进的代理进行比较。基于SED的NAS仅用一秒钟即可选择出精度更高、参数更少的架构。对局部熵的理论分析和实验结果表明，抑制局部熵减有助于在零样本NAS中选择最优架构。