BERT是生成式上下文学习器

虽然上下文学习通常与因果语言模型（如GPT）相关联，但我们证明这种能力也在掩码语言模型中“涌现”。通过一种极其简单的推理技术，我们使现有的掩码模型DeBERTa能够在无需额外训练或架构更改的情况下执行生成任务。我们的评估显示，掩码语言模型和因果语言模型的行为非常不同，它们在不同类别的任务上明显优于对方。这些互补的优势表明，该领域对因果模型用于上下文学习的关注可能具有局限性——两种架构都能发展出这些能力，但具有不同的优势；这指向了有希望的混合方法，结合了两种目标的优势。