精简大语言模型而不损失其能力
计算与语言
2025-06-13 v1 人工智能
摘要
本文研究并验证了微调对大语言模型性能的影响，重点关注参数高效方法（LoRA 和 QLoRA）。我们在三个关键领域评估模型能力：(1) 常识推理（HellaSwag），(2) 数学推理（GSM8K），以及 (3) 多领域知识（MMLU-CS）。我们的发现表明：(1) 基于 LoRA 的方法能够在保持计算效率的同时有效提升任务特定性能，(2) 性能高度依赖于微调数据集与基准任务之间的对齐程度。该研究为参数高效机制提供了理论洞察，并为开发者在有限资源下实现高效 LLM 适配提供了实践指导。
引用
@article{arxiv.2506.10885,
title = {Slimming Down LLMs Without Losing Their Minds},
author = {Qingda and Mai},
journal= {arXiv preprint arXiv:2506.10885},
year = {2025}
}
备注
10 pages