LM-Searcher：通过统一数值编码实现LLM驱动的跨领域神经网络架构搜索

大型语言模型(LLM)的最新进展为解决复杂优化问题（包括神经网络架构搜索NAS）开辟了新途径。然而，现有的LLM驱动NAS方法严重依赖提示工程和领域特定调优，限制了其在多样化任务中的实用性和可扩展性。在本工作中，我们提出了LM-Searcher，一个利用LLM进行跨领域神经网络架构优化的新框架，无需大量领域特定适配。我们的方法核心是NCode，一种神经网络架构的通用数值字符串表示，实现了跨领域架构编码与搜索。我们还将NAS问题重新表述为排序任务，通过指令微调训练LLM从候选池中选择高性能架构，指令微调样本源自一种新颖的剪枝子空间采样策略。我们精心策划的数据集涵盖了广泛的架构-性能对，鼓励鲁棒和可迁移学习。全面实验表明，LM-Searcher在域内（如图像分类的CNN）和域外（如分割和生成的LoRA配置）任务中均取得了具有竞争力的性能，建立了一种灵活且可泛化的基于LLM的架构搜索新范式。数据集和模型将在https://github.com/Ashone3/LM-Searcher发布。