深入鸿沟：探究主题内与跨主题泛化之间的差距

预训练语言模型（LMs）在主题内设置中表现良好，即训练和测试数据来自相同主题。然而，它们在测试数据来自不同主题（如枪支管控）的跨主题场景中面临挑战。本研究通过三个基于探针的实验分析了各种语言模型，以揭示主题内与跨主题泛化差距背后的原因。由此，我们首次证明，泛化差距和嵌入空间的鲁棒性在不同语言模型之间存在显著差异。此外，我们评估了更大的语言模型，并强调了我们的分析与近期模型的相关性。总体而言，多样化的预训练目标、架构正则化或数据去重有助于构建更鲁棒的语言模型并缩小泛化差距。我们的研究有助于更深入地理解和比较不同泛化场景下的语言模型。