面向域生成的双路径稳定软提示生成

域生成 (Domain Generalization, DG) 旨在学习使用一个或多个相关但不同的源域数据以学习的模型，这些模型能够在未见的分布外目标域上实现良好泛化。受大型预训练视觉-语言模型 (Vision-Language Models, VLMs) 成功的启发，提示调谋 (prompt tuning) 已成为有效的生成策略。然而，它们往往难以捕获域特定特征 due to its reliance on manually or fixed prompt inputs。最近，一些提示生成方法通过为每个输入动态生成特定于实例和特定于域的提示来解决这一限制，丰富了域信息并显示出潜在的增强泛化能力。在进一步调查之后，我们识别出现有提示生成方法的一个显著问题：相同输入在不同随机种子下常常产生显著不同且次优的提示，这一现象我们称为提示可变性 (Prompt Variability)。为解决此问题，我们引入负学习到提示生成过程中，并提出双路径稳定软提示生成 (Dual-Path Stable Soft Prompt Generation, DPSPG)，这是一个基于变换器的框架，用于提高提示的稳定性和泛化能力。具体而言，DPSPG 包含一个产生负提示的补充提示生成器，从而降低引入误导性信息的风险。理论和实证分析表明，负学习导致更稳健且更有效的提示，通过增加有效边际并降低梯度范数的上界。在五个域生成基准数据集上的大量实验表明，DPSPG 在保持提示稳定性的同时持续优于现有领先方法。