Meta LLaMA 模型演化与大型语言模型参数高效微调综述
摘要
本综述调查了 Meta AI LLaMA (Large Language Model Meta AI) 系列的快速演进——从 LLaMA 1 到 LLaMA 4 以及为这些模型开发的 specialized parameter-efficient fine-tuning (PEFT) 方法。我们首先描述了 LLaMA 系列基础模型 (7B-65B 至 288B 参数)、其架构(包括 native multimodal 和 Mixtureof-Experts 变体)以及关键性能特征。随后我们描述并讨论 PEFT 概念，这种方法通过仅更新小子集参数来适应大型预训练模型，综述了已应用于 LLaMA 的五种 PEFT 方法：LoRA (Low-Rank Adaptation)、LLaMA-Adapter V1 和 V2、LLaMA-Excitor 和 QLoRA (Quantized LoRA)。我们讨论每种方法的机制、参数节省情况以及示例应用(如 instruction tuning、multimodal 任务)。我们提供结构化讨论和分析，涵盖模型和 adapter 架构、参数数量以及 benchmark 结果(包括 fine-tuned LLaMA 模型超越更大基线的案例)。最后，我们检查 LLaMA 基础模型和 PEFT 被成功应用于的实际场景(如 legal 和 medical 领域)，并讨论 ongoing 挑战和 future research directions(如 scaling to even larger contexts 和 improving robustness)。本综述论文为对 LLaMA 模型和高效微调策略感兴趣的 ML 研究者和实践者提供了一站式资源。
引用
@article{arxiv.2510.12178,
title = {Evolution of meta's llama models and parameter-efficient fine-tuning of large language models: a survey},
author = {Abdulhady Abas Abdullah and Arkaitz Zubiaga and Seyedali Mirjalili and Amir H. Gandomi and Fatemeh Daneshfar and Mohammadsadra Amini and Alan Salam Mohammed and Hadi Veisi},
journal= {arXiv preprint arXiv:2510.12178},
year = {2025}
}