LPZero：从零开始的语言模型零成本代理搜索
计算与语言
2024-10-08 v1
摘要
尽管在性能方面表现卓越，神经网络结构搜索 (NAS) 仍因计算资源浪费而受到批评。最近，基于零成本 (Zero-cost, ZC) 代理的零shot NAS 方法日益受到青睐，显著降低了计算需求。然而，现有 ZC 代理高度依赖专家知识，导致大量试错成本。尤其在 NLP 任务中，大多数现有 ZC 代理难以超越朴素基线。为此，我们提出一种新框架 \textbf{LPZero}，首次实现 ZC 代理的自动化设计，适用于各种任务，实现了比人工设计代理更高的排序一致性。具体而言，我们将 ZC 代理建模为符号方程，并纳入统一的代理搜索空间，该空间包含由预定义数学符号组成的现有 ZC 代理。为在符号组成上进行启发式搜索，LPZero 引入遗传编程以寻找最优符号组合。我们提出了 \textit{基于规则的削减策略 (RPS)}，以消除前景不佳的代理，从而缓解代理性能衰退的风险。在 FlexiBERT、GPT-2 和 LLaMA-7B 上的大量实验表明，LPZero 在排序能力和下游任务性能方面均优于当前方法。
引用
@article{arxiv.2410.04808,
title = {LPZero: Language Model Zero-cost Proxy Search from Zero},
author = {Peijie Dong and Lujun Li and Xiang Liu and Zhenheng Tang and Xuebo Liu and Qiang Wang and Xiaowen Chu},
journal= {arXiv preprint arXiv:2410.04808},
year = {2024}
}
备注
8 pages, 7 figures, 10 appendix