通过遗传编程为神经架构搜索从手工指标到进化的免训练性能预测器
神经与进化计算
2025-05-23 v1 人工智能
摘要
使用零成本（ZC）指标估计网络性能已在神经架构搜索（NAS）中证明了其效率和有效性。然而，大多数 ZC 代理的一个显著局限性是其不一致性，这反映在其在不同问题上的性能存在巨大差异。此外，现有 ZC 指标的设计是手动的，涉及一个耗时且需要大量领域专业知识的试错过程。这些挑战提出了两个关键问题：（1）我们能否自动化设计 ZC 指标？（2）我们能否利用现有的手工 ZC 指标来合成一个更具泛化能力的指标？在本研究中，我们提出了一个基于通过遗传编程进行符号回归的框架，以实现 ZC 指标设计的自动化。我们的框架不仅具有高度可扩展性，而且能够快速生成一个在多种 NAS 搜索空间和任务中与真实网络性能具有强正秩相关性的 ZC 指标。在 NAS-Bench-Suite-Zero 的 13 个问题上进行的大量实验表明，我们自动生成的代理指标始终优于手工设计的替代方案。使用我们进化的代理指标作为进化算法中的搜索目标，我们能够在 15 分钟内使用单个消费级 GPU 识别出具有竞争力的网络架构。
引用
@article{arxiv.2505.15832,
title = {From Hand-Crafted Metrics to Evolved Training-Free Performance Predictors for Neural Architecture Search via Genetic Programming},
author = {Quan Minh Phan and Ngoc Hoang Luong},
journal= {arXiv preprint arXiv:2505.15832},
year = {2025}
}