用于大型语言模型贝叶斯低秩适应的高斯随机权重平均
计算与语言
2024-07-23 v2
摘要
微调后的大型语言模型（LLM）常常存在过度自信和校准不良的问题，尤其是在小数据集上微调时。为了解决这些挑战，我们提出了一种将低秩适应（LoRA）与高斯随机权重平均（SWAG）简单结合的方法，以促进LLM中的近似贝叶斯推断。通过在多个自然语言处理（NLP）基准上的广泛测试，我们证明了这种直接且计算高效的方法在模型泛化和校准方面具有竞争力，可与LLM中更复杂的贝叶斯推断方法相媲美。我们进一步表明，我们的方法对分布偏移具有更强的鲁棒性，这体现在其在分布外任务上的改进性能。
引用
@article{arxiv.2405.03425,
title = {Gaussian Stochastic Weight Averaging for Bayesian Low-Rank Adaptation of Large Language Models},
author = {Emre Onal and Klemens Flöge and Emma Caldwell and Arsen Sheverdin and Vincent Fortuin},
journal= {arXiv preprint arXiv:2405.03425},
year = {2024}
}
备注
14 pages, 1 figure, 2 tables