GPT-4 能否执行神经架构搜索?
机器学习
2023-08-03 v4
摘要
我们探究了 GPT-4~\cite{gpt4} 执行神经架构搜索(NAS)——即设计有效神经架构的任务——的潜力。我们提出的方法,\textbf{G}PT-4 \textbf{E}nhanced \textbf{N}eural arch\textbf{I}tect\textbf{U}re \textbf{S}earch(GENIUS,GPT-4 增强神经架构搜索),利用 GPT-4 的生成能力作为黑盒优化器,快速遍历架构搜索空间、定位有前景的候选并迭代精炼这些候选以提升性能。我们在若干基准上评估 GENIUS,与现有最先进的 NAS 技术比较以阐明其有效性。我们的目标并非追求最先进性能,而是强调 GPT-4 通过一种仅需相对有限领域专业知识的简单提示方案,来辅助研究一个具挑战性技术问题的潜力\footnote{代码见 \href{https://github.com/mingkai-zheng/GENIUS}{https://github.com/mingkai-zheng/GENIUS}。}。更广泛地,我们相信我们的初步结果指向了未来利用通用语言模型应对多样优化任务的研究。我们也强调了本研究的重要局限,并指出对 AI 安全的启示。
引用
@article{arxiv.2304.10970,
title = {Can GPT-4 Perform Neural Architecture Search?},
author = {Mingkai Zheng and Xiu Su and Shan You and Fei Wang and Chen Qian and Chang Xu and Samuel Albanie},
journal= {arXiv preprint arXiv:2304.10970},
year = {2023}
}