BERT 中的关系图式是可诱导的而非涌现的：语言模型性能与能力研究

尽管像 BERT 这样的大型语言模型在语义任务上展现出强大的经验性能，但这是否反映了真正的概念能力还是表层统计关联仍不清楚。本文通过考察分类学、整体论和功能关系中概念对的内部表示，研究 BERT 是否编码了抽象的关系图式。我将 BERT 的关系分类性能与 令牌嵌入中的表示结构进行比较。结果表明，预训练的 BERT 能够实现高分类准确率，表明存在潜在的关系信号。然而，概念对仅在针对监督关系分类任务进行微调后，才在高维嵌入空间中按关系类型组织。这表明关系图式并非仅从预训练中涌现，而是可以通过任务支架诱导产生。这些发现表明，行为性能并不必然意味着结构化的概念理解，尽管模型可以通过适当的训练获得用于有根基关系抽象的归纳偏置。