视觉模型中非标准通道先验的闭环 LLM 发现
计算机视觉与模式识别
2026-05-05 v2
摘要
通道配置搜索，即对深度神经网络中通道宽度等层规格的优化，是一个受限于张量形状兼容性和计算预算的组合优化挑战。我们研究了大型语言模型（LLM）能否通过以补充传统搜索启发式的方式对架构代码结构进行推理，从而支持神经架构搜索（NAS）。我们将 LLM 驱动的 NAS 框架应用于通道配置搜索，将该任务表述为条件代码生成，其中 LLM 利用性能反馈来优化架构规格。为了解决数据稀缺问题，我们通过抽象语法树（AST）突变生成了一个有效且形状一致的架构语料库。尽管这些突变网络不一定针对性能进行优化，但它们提供的结构示例有助于 LLM 学习可执行的架构模式，并将通道配置与模型性能关联起来。在 CIFAR-100 上的实验结果表明，在相同的代理评估协议下，闭环 LLM 改进了初始 AST 生成的架构群体。我们的分析进一步表明，生成的架构反映了特定领域的设计模式，包括非标准通道宽度和后期扩展，突显了语言驱动设计在代码级 NAS 中的潜力。代码和提示词已在 https://github.com/ABrain-One/NN-GPT 公开，生成的深度神经网络已在 https://github.com/ABrain-One/NN-Dataset 上发布，模型名称带有前缀 ast-dimension-。
引用
@article{arxiv.2601.08517,
title = {Closed-Loop LLM Discovery of Non-Standard Channel Priors in Vision Models},
author = {Tolgay Atinc Uzun and Dmitry Ignatov and Radu Timofte},
journal= {arXiv preprint arXiv:2601.08517},
year = {2026}
}