AZ-NAS：面向网络架构搜索的零成本代理集成

免训练网络架构搜索（NAS）旨在利用零成本代理发现高性能网络，这些代理能够捕获与最终性能相关的网络特征。然而，以往免训练 NAS 方法估计的网络排名与实际性能之间表现出较弱的相关性。为解决这一问题，我们提出了 AZ-NAS，这是一种利用多种零成本代理的集成来大幅增强网络预测排名与真实性能之间相关性的新方法。为此，我们引入了四个相互补充的新型零成本代理，从表达能力、渐进性、可训练性和复杂度四个角度分析架构的不同特征。这些代理的得分可以在单次前向和反向传播中同时获得，使得整个 NAS 过程高效。为了有效地整合由我们的代理预测的排名，我们引入了一种非线性排名聚合方法，突出在所有代理中始终排名靠前的网络。实验结果确凿地证明了 AZ-NAS 的有效性和高效性，在保持合理运行时间成本的同时，在标准基准上优于 SOTA 方法。