NADER：基于多智能体协作的神经网络架构设计
计算机视觉与模式识别
2024-12-30 v1
摘要
设计有效的神经网络架构是深度学习中的重要挑战。虽然神经网络架构搜索(NAS)自动化寻找最优架构，但现有方法常受限于预设的搜索空间，可能错失关键神经网络架构。本文引入NADER(神经网络架构设计通过多智能体协作)，将神经网络架构设计(NAD)形式化为基于大语言模型(LLM)的多智能体协作问题。NADER采用一支专业智能体团队，通过迭代修改来提升基础架构。当前的基于LLM的NAD方法通常独立运行，缺乏从历史经验中学习的能力，导致重复错误和低效探索。为此提出反馈者(Reflector)，有效学习即时反馈和长期经验。此外，与之前基于LLM的方法使用代码表示神经网络架构不同，本文采用图基表示，使智能体能够专注于设计层面，避免被编码分散注意力。通过在基准任务上的大量实验，我们展示了NADER在发现超越预设搜索空间的高性能架构方面的有效性，凸显其相对于最先进方法的优势。代码将很快公开。
引用
@article{arxiv.2412.19206,
title = {NADER: Neural Architecture Design via Multi-Agent Collaboration},
author = {Zekang Yang and Wang Zeng and Sheng Jin and Chen Qian and Ping Luo and Wentao Liu},
journal= {arXiv preprint arXiv:2412.19206},
year = {2024}
}