当提示相互作用时：评估用于消除分布迁移中的混淆因素的提示算术

在分类任务中，模型可能依赖于混淆变量以实现强的分布内性能，捕获偶然特征，但在分布迁移下会失败。这种捷径行为导致在分布迁移设置下的显著性能下降。任务算术通过减去次要模型更新来消除不需要的信号，提供了一种潜在解决方案，但通常需要完整的微调，这在计算上昂贵。提示调谐通过调整少量可训练虚拟标记提供了一个参数高效的替代方案。对结果提示进行任务算术为对整个模型操作的引人注目的替代方案，但这种方法在何种程度上可以限制对偶然特征的依赖尚不明了。在本工作中，我们研究了通过任务算术组合软提示以提高对混淆迁移的鲁棒性的问题。我们提出了混合提示算术(Hybrid Prompt Arithmetic, HyPA)，该方法将任务提示与线性化混淆因素提示组合，以抵消无关关联。在多个基准测试中，HyPA 在分布迁移下相对于提示算术基线始终改善了鲁棒性-性能权衡。我们进一步分析了 HyPA 对隐藏表示的影响，发现其减轻混淆效应的证据与通过降低混淆因素信号对预测的影响或在表示中抑制它们相符。这些结果确立了 HyPA 作为一种参数高效且在评估设置下提高混淆迁移下鲁棒性的有前景的方法。