立场：停止扩展大语言模型！让我们专注于缩减规模
计算与语言
2025-05-27 v3
摘要
我们挑战了当前对神经缩放定律的主流关注，并倡导在大语言模型（LLMs）开发中向缩减规模进行范式转变。虽然缩放定律为通过增加模型和数据集规模来提升性能提供了关键见解，但我们强调了这种方法的显著局限性，特别是在计算效率低下、环境影响和部署限制方面。为应对这些挑战，我们提出了一个用于缩减 LLMs 规模的整体框架，旨在保持性能的同时大幅降低资源需求。本文概述了从传统缩放范式过渡的实用策略，倡导一种更可持续、高效且易于获取的 LLM 开发方法。
引用
@article{arxiv.2505.00985,
title = {Position: Enough of Scaling LLMs! Lets Focus on Downscaling},
author = {Yash Goel and Ayan Sengupta and Tanmoy Chakraborty},
journal= {arXiv preprint arXiv:2505.00985},
year = {2025}
}