面向精炼微调的功能级不确定性量化
机器学习
2026-05-15 v5
摘要
准确量化大型语言模型（LLM）中的不确定性对于可靠的置信度估计至关重要，但在数据有限的情况下，基于 PEFT 的 LLM 进行微调后常会变得过于自信。现有的不确定性方法主要是事后估计，是在微调后才估计不确定性，而非改进适配器如何针对特定输入-输出关系进行专业化。我们提出一种用于精炼微调的功能级不确定性量化方法（Functional-Level Uncertainty Quantification for Calibrated Fine-Tuning, 简称 UQ4CT），其通过对基于提示依赖性混合 LoRA 专家所产生的功能空间进行校准，来校准不确定性。UQ4CT 通过一种混合专家微调框架实现上述思路，其中校准损失在训练期间将功能级置信度与预测正确性对齐。我们在四个多选基准测试和两个开放式生成式 QA 任务中采用该方法。结果表明，UQ4CT 将预期校准误差（ECE）降低了超过 25%，同时保持高准确率。在分布迁移情况下，UQ4CT 保持优异的校准性能并保持具竞争力的准确率，展示出在微调后 LLM 方面的改进可靠性和泛化能力。
引用
@article{arxiv.2410.06431,
title = {Functional-level Uncertainty Quantification for Calibrated Fine-tuning on LLMs},
author = {Ruijia Niu and Dongxia Wu and Rose Yu and Yi-An Ma},
journal= {arXiv preprint arXiv:2410.06431},
year = {2026}
}