ONNX-Net：面向通用表示与神经网络架构即时性能预测
机器学习
2025-10-07 v1 人工智能
计算与语言
摘要
神经网络架构搜索（NAS）自动化设计高性能架构的过程，但仍受制于昂贵的性能评估。目前大多数实现快速评估的研究方法，都局限于基于细胞的搜索空间和针对这些单个搜索空间的图编码，限制了其在应用于更具表现力的搜索空间时的灵活性和可扩展性。本文旨在弥合个体搜索空间限制和搜索空间依赖性网络表示之间的差距。我们提出了 ONNX-Bench，即一个基于 ONNX 文件构建的基准集合，包含超过 60 万组 {架构、准确率} 数据。该基准允许创建一种共享的神经网络表示——ONNX-Net，能够通过自然语言描述作为性能预测器的输入来表示任意神经网络架构。这种基于文本的编码能够容纳任意层类型、操作参数和异构拓扑结构，使单个代理能够在所有神经网络架构上通用，而不局限于基于细胞的搜索空间。实验表明，在仅使用少量预训练样本的情况下，ONNX-Net 能够在差异化的搜索空间上实现出色的零样本性能，从而实现对任何神经网络架构的即时评估。
引用
@article{arxiv.2510.04938,
title = {ONNX-Net: Towards Universal Representations and Instant Performance Prediction for Neural Architectures},
author = {Shiwen Qin and Alexander Auras and Shay B. Cohen and Elliot J. Crowley and Michael Moeller and Linus Ericsson and Jovita Lukasik},
journal= {arXiv preprint arXiv:2510.04938},
year = {2025}
}
备注
Our code is available at: https://github.com/shiwenqin/ONNX-Net