通过低秩摊销贝叶斯元学习实现大语言模型的大规模元学习
机器学习
2026-04-03 v3 人工智能
机器学习
摘要
使用低秩适应（LoRA）微调大语言模型（LLMs）是一种将特定数据集信息融入模型的经济有效方式。然而，当一个问题需要融入来自多个数据集的信息时——例如在小样本学习中——跨数据集的泛化能力可能有限，从而推高训练成本。因此，在此类场景下通常使用上下文学习等其他方法。为应对这一挑战，我们引入了一种将 LLM 权重适应于多个分布的高效方法，即面向 LoRA 的摊销贝叶斯元学习（ABMLL）。该方法建立在针对较小模型的摊销贝叶斯元学习之上，通过重新定义 LoRA 中局部变量和全局变量的定义位置，并使用一个新的超参数来平衡重建精度和任务特定参数对全局参数的保真度，从而将此方法适应于 LLM。ABMLL 支持跨数据集的有效泛化，并可扩展至 Llama3-8B 和 Qwen2-7B 等大型模型，在 CrossFit 和 Unified-QA 数据集上，其在准确性和预期校准误差方面均优于现有方法。我们表明，元学习也可以与上下文学习相结合，从而在这些数据集以及法律和化学应用中带来进一步的改进。
引用
@article{arxiv.2508.14285,
title = {Meta-Learning at Scale for Large Language Models via Low-Rank Amortized Bayesian Meta-Learning},
author = {Liyi Zhang and Jake Snell and Thomas L. Griffiths},
journal= {arXiv preprint arXiv:2508.14285},
year = {2026}
}
备注
17 pages, 2 figures