存在虚假关联时的情境学习
机器学习
2026-04-03 v2 计算与语言
摘要
大型语言模型表现出惊人的情境学习能力，即通过少量示例学习解决任务。最近的研究表明，变换器可以训练执行情境中的简单回归任务。本 work 探索了为涉及虚假特征的分类任务训练情境学习器的可能性。我们发现，训练情境学习器的常规方法容易受到虚假特征的影响。此外，当元训练数据仅包含单一任务实例时，常规方法会导致任务记忆，无法产生利用上下文进行预测的模型。基于这些观察，我们提出了一种 novel 技术，用于训练给定分类任务的情境学习器。惊人的是，这种情境学习器与 ERM 和 GroupDRO 等强大方法相当，甚至在某些情况下性能更好。然而，与这些算法不同，它对其他任务的泛化能力较差。我们表明，通过在多样化的合成情境学习实例数据集上训练，可以获得能够对未见任务进行泛化的情境学习器。
引用
@article{arxiv.2410.03140,
title = {In-context Learning in Presence of Spurious Correlations},
author = {Hrayr Harutyunyan and Rafayel Darbinyan and Samvel Karapetyan and Hrant Khachatrian},
journal= {arXiv preprint arXiv:2410.03140},
year = {2026}
}