LeMo-NADe：基于大语言模型的多参数神经架构发现
机器学习
2024-02-29 v1 人工智能
摘要
构建高效的神经网络架构可能是一项耗时的任务，需要大量的专家知识。对于边缘设备而言，这一任务尤为具有挑战性，因为必须考虑推理过程中的功耗、模型大小、推理速度和二氧化碳排放量等参数。在本文中，我们介绍了一种新颖的框架，旨在基于用户定义的参数、专家系统以及在大量开放域知识上训练的大语言模型 (LLM)，自动发现新的神经网络架构。所引入的框架 (LeMo-NADe) 专为非人工智能专家设计，不需要预定义的神经架构搜索空间，并考虑了大量特定于边缘设备的参数。我们使用 CIFAR-10、CIFAR-100 和 ImageNet16-120 数据集实现并验证了该神经架构发现框架，同时使用 GPT-4 Turbo 和 Gemini 作为 LLM 组件。我们观察到，所提出的框架能够快速（在数小时内）发现复杂的神经网络模型，这些模型在用户定义的多样化应用设置中表现极佳。
引用
@article{arxiv.2402.18443,
title = {LeMo-NADe: Multi-Parameter Neural Architecture Discovery with LLMs},
author = {Md Hafizur Rahman and Prabuddha Chakraborty},
journal= {arXiv preprint arXiv:2402.18443},
year = {2024}
}
备注
19 pages, 5 figures, 10 tables and 3 algorithms