GreenMachine：面向能效 NAS 的零成本代理自动设计
机器学习
2024-11-26 v1 神经与进化计算
摘要
人工智能 (AI) 推动了创新并创造了各行业的新机遇。然而，充分利用领域特定知识往往需要自动化工具来设计和配置模型。对于深度神经网络 (DNN)，研究人员和实践者通常依赖神经网络架构搜索 (NAS) 方法，这些方法资源和时间密集，需要训练和评估大量候选架构。这引发了可持续发展的顾虑，尤其是由于高能耗的要求，形成了一种悖论：追求最有效的模型可能削弱了可持续发展目标。为缓解这一问题，零成本代理（zero-cost proxies）日益成为有前景的替代方案。这些代理无需完整训练即可估计模型性能，提供了更高效的方法。本文通过自动设计零成本代理来解决模型评估挑战，以高效评估 DNN。我们的方法从随机生成的零成本代理集开始，通过 NATS-Bench 框架对其进行演化和测试。我们使用随机抽样和分层抽样子集评估代理的有效性，确保它们能够区分低于和高于的网络，并增强可泛化性。结果表明，我们的方法在分层抽样策略上优于现有方法，在 CIFAR-10 和 CIFAR-100 上的 NATS-Bench-SSS 和 NATS-Bench-TSS 实现了强烈的相关性，包括在 CIFAR-10 上的 Kendall 相关系数为 0.89，在 CIFAR-100 上的 Kendall 相关系数为 0.77。
引用
@article{arxiv.2411.15290,
title = {GreenMachine: Automatic Design of Zero-Cost Proxies for Energy-Efficient NAS},
author = {Gabriel Cortês and Nuno Lourenço and Penousal Machado},
journal= {arXiv preprint arXiv:2411.15290},
year = {2024}
}
备注
Submitted to CVPR 2025