NeuroGen：基于大语言模型的神经网络参数生成
人工智能
2025-05-26 v2
摘要
神经网络(NN)参数的获取自 NN 提出以来便是机器学习中最重要的问题之一。传统方法，如反向传播和前向仅优化，均通过迭代数据拟合逐步优化参数。本文旨在探索新方向：通过大语言模型生成获取 NN 参数。我们提出 NeuroGen，一种通用且易于实现的两阶段方法，用于根据数据、任务和网络架构描述生成 NN 参数。阶段一为参数参考知识注入，在此基础上，LLM 在 NN 检查点上预训练以构建参数空间的基础理解；阶段二为上下文增强指令调优，使 LLM 通过丰富的、任务感知的提示适应特定任务。实验结果表明，NeuroGen 有效生成可用 NN 参数。我们的发现突显了基于 LLM 的 NN 参数生成的可行性，并指出 LLM 与轻量级 NN 协同共存的有前景的新范式。
引用
@article{arxiv.2505.12470,
title = {NeuroGen: Neural Network Parameter Generation via Large Language Models},
author = {Jiaqi Wang and Yusen Zhang and Xi Li},
journal= {arXiv preprint arXiv:2505.12470},
year = {2025}
}
备注
The three authors contributed equally to this work. The codes will be public after being accepted