令人惊讶的强性能预测：神经图特征
机器学习
2024-08-14 v2
摘要
性能预测一直是神经架构搜索（NAS）过程中的关键部分，通过避免资源消耗的网络训练来加速NAS算法。尽管许多性能预测器与真实性能相关性良好，但它们需要以训练好的网络形式提供训练数据。最近，零成本代理被提出作为一种无需任何训练即可估计网络性能的高效方法。然而，它们仍然未被充分理解，表现出对网络属性的偏差，并且性能有限。受零成本代理缺点的启发，我们提出了神经图特征（GRAF），即架构图的简单可计算属性。GRAF提供快速且可解释的性能预测，同时优于零成本代理和其他常见编码。与其他零成本代理结合使用时，GRAF以极低的成本超越了大多数现有的性能预测器。
引用
@article{arxiv.2404.16551,
title = {Surprisingly Strong Performance Prediction with Neural Graph Features},
author = {Gabriela Kadlecová and Jovita Lukasik and Martin Pilát and Petra Vidnerová and Mahmoud Safari and Roman Neruda and Frank Hutter},
journal= {arXiv preprint arXiv:2404.16551},
year = {2024}
}
备注
ICML 2024. Code at https://github.com/gabikadlecova/zc_combine , blog post: https://gabikadlecova.github.io/blog/2024/graf/