FL-NAS：通过大语言模型面向资源受限设备实现神经架构搜索的公平性
机器学习
2024-02-13 v1 人工智能
摘要
神经架构搜索（NAS）已成为行业中自动化设计深度神经网络的事实标准工具，尤其适用于由计算资源有限的移动和边缘设备驱动的各种应用。新兴的大语言模型（LLMs）因其卓越能力，最近也被纳入 NAS 并显示出一些令人鼓舞的结果。本文通过同时考虑三个重要的设计指标，即模型准确性、公平性和硬件部署效率，在这一方向上进行了进一步探索。我们在本文中提出了一种新颖的基于 LLM 的 NAS 框架 FL-NAS，并通过实验表明，FL-NAS 确实能够找到高性能的深度神经网络（DNNs），在几乎所有设计考量上均以数量级优势超越最先进的 DNN 模型。
引用
@article{arxiv.2402.06696,
title = {FL-NAS: Towards Fairness of NAS for Resource Constrained Devices via Large Language Models},
author = {Ruiyang Qin and Yuting Hu and Zheyu Yan and Jinjun Xiong and Ahmed Abbasi and Yiyu Shi},
journal= {arXiv preprint arXiv:2402.06696},
year = {2024}
}
备注
ASP-DAC 2024