GreenFactory：集成零成本代理以估计神经网络性能
机器学习
2025-05-15 v1 人工智能
计算机视觉与模式识别
摘要
在神经架构搜索过程中确定深度神经网络的性能，对于识别最优架构和超参数至关重要。传统上，此过程需要对每个网络进行训练和评估，既耗时又耗费资源。零成本代理无需训练即可估计性能，作为传统训练的替代方案。然而，最近的代理通常缺乏在不同场景下的泛化能力，并且仅提供相对排名而非预测准确率。为了解决这些局限性，我们提出了 GreenFactory，一种零成本代理集成方法，利用随机森林回归器结合多个预测器的优势并直接预测模型测试准确率。我们在 NATS-Bench 上评估了 GreenFactory，在多个数据集上取得了稳健的结果。具体而言，GreenFactory 在 NATS-Bench-SSS 上实现了高 Kendall 相关性，表明其预测分数与实际性能之间存在高度一致性：CIFAR-10 为 0.907，CIFAR-100 为 0.945，ImageNet-16-120 为 0.920。类似地，在 NATS-Bench-TSS 上，我们实现了 0.921（CIFAR-10）、0.929（CIFAR-100）和 0.908（ImageNet-16-120）的相关性，展示了其在两个搜索空间中的可靠性。
引用
@article{arxiv.2505.09344,
title = {GreenFactory: Ensembling Zero-Cost Proxies to Estimate Performance of Neural Networks},
author = {Gabriel Cortês and Nuno Lourenço and Paolo Romano and Penousal Machado},
journal= {arXiv preprint arXiv:2505.09344},
year = {2025}
}