上下文情境下逐点 $\mathcal{V}$-可用信息的度量

上下文学习（ICL）是一种随着大语言模型发展而流行的新学习范式。在这项工作中，我们将最近提出的难度度量——逐点 $\mathcal{V}$-可用信息（PVI）适配为上下文版本（in-context PVI）。与原始 PVI 相比，in-context PVI 更高效，因为它仅需少量示例且不需要微调。我们进行了全面的实证分析以评估 in-context PVI 的可靠性。我们的发现表明，in-context PVI 估计展现出与原始 PVI 相似的特征。针对上下文设置，我们展示了 in-context PVI 估计在不同示例选择和不同 shot 数量下保持一致。in-context PVI 估计在不同示例选择间的方差不显著，这表明 in-context PVI 是稳定的。此外，我们展示了如何利用 in-context PVI 来识别困难样本。我们的工作凸显了 in-context PVI 的潜力，并为 ICL 的能力提供了新的见解。