生成式 AI 能否解决您的情境学习问题？——从鞅论视角

本工作关于估计条件生成模型（CGM）是否能解决情境学习（ICL）问题。情境学习（ICL）问题由CGM、数据集和预测任务组成。CGM可以是多模态基础模型；数据集可以是患者病史、检验结果和记录诊断的集合；预测任务是向新病人传达诊断意见。贝叶斯解释的情境学习假设，CGM计算在未知贝叶斯模型下，对定义在潜在解释和可观测数据联合分布上的后验预测分布。从这个角度看，对贝叶斯模型进行批判是合理的，以评估给定CGM是否适合ICL问题。然而，这类方法——如后验预测检验（PPC）——通常假设我们可以从贝叶斯模型定义的似然和后验中进行抽样，而当代CGM的似然和后验并未显式给出。为此，我们展示了当CGM的预测分布的祖先抽样等价于从假设贝叶斯模型的后验预测中抽样数据集时的情况。然后我们发展了生成式预测 $p$-值，这使得为当代CGM进行PPC及其相关方法成为可能。生成式预测 $p$-值随后可用于统计决策程序，以确定模型是否适合ICL问题。我们的方法仅需要从CGM生成查询和响应，并评估其响应对数概率。我们在合成表格、图像和自然语言ICL任务上使用大型语言模型进行了经验评估。