破解元学习中的任务混杂因子

元学习通过从各种任务中学习知识,实现了向新任务的快速泛化。直觉上认为,随着训练的进行,模型将获得更丰富的知识,从而带来更好的泛化性能。然而,我们的实验揭示了一个意想不到的结果:任务之间存在负知识迁移,影响了泛化性能。为了解释这一现象,我们构建了结构因果模型(Structural Causal Models, SCMs)进行因果分析。我们的研究发现,在元学习中,任务特定的因果因子与标签之间存在伪相关。此外,不同批次间的混杂因子各不相同。我们将这些混杂因子称为“任务混杂因子”。基于这些发现,我们提出了一种即插即用的元学习因果表示学习器,以消除任务混杂因子。它对来自多个任务的解耦生成因子进行编码,并利用基于不变性的双层优化机制来确保其对元学习的因果性。在各种基准数据集上的广泛实验表明,我们的工作实现了最先进的性能。