利用 LoRA 集成对微调后大语言模型的不确定性量化
机器学习
2025-05-22 v2 人工智能
计算与语言
机器学习
摘要
微调大语言模型可以提高特定任务的性能，但对于微调后的模型学到了什么、遗忘了什么以及如何信任其预测，目前仍缺乏普遍理解。我们利用计算高效的低秩自适应（LoRA）集成和后验近似，为微调后的大语言模型推导了原则性的不确定性量化。我们分析了基于 Mistral-7b 的低秩自适应集成在三个常见多项选择题数据集上的表现，并就其在微调期间及之后感知到的复杂性以及保留的先验知识与领域特定适应之间的平衡得出了定量和定性结论。我们发现在过拟合状态下，微调过程中获得的知识出现了意想不到的保留现象。
引用
@article{arxiv.2402.12264,
title = {Uncertainty quantification in fine-tuned LLMs using LoRA ensembles},
author = {Oleksandr Balabanov and Hampus Linander},
journal= {arXiv preprint arXiv:2402.12264},
year = {2025}
}
备注
Accepted for ICLR2025 Workshop "Quantify Uncertainty and Hallucination in Foundation Models: The Next Frontier in Reliable AI"