基于扩散的反事实引导因果对齐提示学习

提示学习因其相对于传统模型训练和微调的高效优势而受到关注。然而，现有方法受限于不充分的理论基础，难以实现因果不变性提示，最终未能捕获能有效跨类别泛化的鲁棒特征。为此，本文引入了$\textit{\textbf{DiCap}}$模型，即基于扩散的$\textbf{D}$iffusion-based$\textbf{C}$ounterf$\textbf{a}$ctual$\textbf{p}$rompt学习框架，利用扩散过程迭代抽样自因果模型的边缘分布和条件分布的梯度，引导生成满足最小充分性准则的反事实样本。基于严谨的理论推导，该方法保证反事实结果的可识别性，同时对估计误差施加严格界限。我们进一步采用对比学习框架，利用生成的反事实样本，从而实现精准提取与数据因果特征对齐的提示。广泛的实验结果表明，该方法在图像分类、图像-文本检索和视觉问答等任务中表现优异，尤其在未见类别中表现尤为突出。