NoisyICL：模型参数中的一点噪声校准上下文学习

由于高先验偏差和不可信的置信度，上下文学习 (ICL) 正遭受性能不佳和校准不足的困扰。一些先前的工作使用庞大的数据集和计算成本对语言模型进行微调，以获得更好的 ICL 性能。在本文中，我们提出了 NoisyICL，它简单地通过随机噪声扰动模型参数，以争取更好的性能和校准。我们在两个模型和 12 个下游数据集上的实验表明，NoisyICL 可以帮助 ICL 产生更准确的预测。我们的进一步分析表明，NoisyICL 使模型能够提供更公平的预测，并且具有更可信的置信度。因此，我们认为 NoisyICL 是 ICL 的一种有效校准方法。我们的实验代码已上传到 Github。