面向代码导向的 LM 嵌入用于代理辅助神经网络架构搜索
机器学习
2026-05-18 v1 神经与进化计算
摘要
开发有效的神经网络搜索（NAS）的代理模型（性能预测器）通常需要昂贵的微调或复杂表示式的工程化。我们提出一种低成本嵌入策略，利用语言模型（LM）的归纳偏置消除这些开销。通过将架构表示为 PyTorch 类定义文本，我们展示了即插即用的 LM 充当竞争性特征提取器，无需针对 NAS 的专业微调。最终预测器通过将提取的 Code-Oriented LM 嵌入（COLE）传递给轻量级回归头来构建。我们还研究了改进嵌入质量和利用率的策略。在 NAS-Bench-201 和 einspace 搜索空间上的实验表明，原始代码输入在使用冻结 LM 时，优于其他基于文本的编码（如 ONNX-to-text 编码）。我们还观察到 COLE 在 NAS-Bench-201 上使用 BANANAS 算法进行代理辅助搜索时驱动更优的搜索效果。对于 CIFAR-100 性能优化，用 COLE 替代结构化路径编码进行架构表示，可实现对搜索空间中最优秀架构（按测试准确率）的评估预算减少 34%。由于任何神经网络都可表示为代码，这些发现确立了 COLE 作为 NAS 进一步发展的通用且高效基础。
引用
@article{arxiv.2605.15649,
title = {Towards Code-Oriented LM Embeddings for Surrogate-Assisted Neural Architecture Search},
author = {Pranav Somu and Advay Balakrishnan and Stepan Kravtsov and Aaron McDaniel and Jason Zutty},
journal= {arXiv preprint arXiv:2605.15649},
year = {2026}
}
备注
This is an extended version of work accepted to GECCO 2026. Our code is available at https://github.com/pcsom/cole/tree/v1.0