持续校准：覆盖率在终身LLM微调中可能在准确率之前崩溃
机器学习
2026-04-28 v1
摘要
大型语言模型的持续学习通常通过准确率保留来评估，在顺序微调下。我们认为这种视角不完整，因为不确定性可靠性可能比顶部1性能更早、更剧烈地退化。我们通过在三个模型家族和八个任务序列上测量 conformal覆盖和校准误差来经验性地研究这一现象。这些任务序列主要来自分类和多选基准。在分类设置下，覆盖率损失的准确率损失约为；在最严重的案例中，覆盖率从下降到，而准确率仍在基准范围内。标准的持续学习方法在保持准确率的同时并不自动保持覆盖率，naive校准基线只能恢复部分差距。我们提出了校准回放(a lightweight post-hoc procedure)，它维护一个任务特定的held-out缓冲区，并在每个更新后在当前模型下重新拟合任务特定的conformal阈值。它不增加训练时间的梯度成本，使用的内存是普通经验回放的不到1%，通常在缓冲区大小时，将覆盖率恢复到接近名义值的两个点以内。我们伴随实验研究提供了漂移分解、有限样本恢复定理，表明在exchangeability下确切的conformal有效性，以及解释为何池化阈值不足的混合有效性命题。我们的保证适用于带任务特定缓冲区的分类任务；对开放式生成的扩展是探索性的。
引用
@article{arxiv.2604.23987,
title = {Continual Calibration: Coverage Can Collapse Before Accuracy in Lifelong LLM Fine-Tuning},
author = {Ibne Farabi Shihab and Sanjeda Akter and Anuj Sharma},
journal= {arXiv preprint arXiv:2604.23987},
year = {2026}
}