基于自然语料的 BERT 中论证结构建构的层次化注意力分析
计算与语言
2026-02-03 v1
摘要
本研究探究了双向编码器表示变换器 (BERT) 模型如何处理四种基本论证结构建构。我们采用多维分析框架，集成 MDS、t-SNE 作为降维方法，Generalized Discrimination Value (GDV) 作为聚类分离度度量，Fisher 判别比 (FDR) 作为线性诊断探针，以及注意力机制分析。我们的结果揭示了层次化的表征结构。特定建构的信息在早期层中出现，形成中间层中最大的可分离聚类，并在后续处理阶段得到保持。
引用
@article{arxiv.2602.00554,
title = {A Hierarchical and Attentional Analysis of Argument Structure Constructions in BERT Using Naturalistic Corpora},
author = {Liu Kaipeng and Wu Ling},
journal= {arXiv preprint arXiv:2602.00554},
year = {2026}
}
备注
14 pages, 5 figures