派生探测：揭示神经语言模型中句法结构分层派生机制
计算与语言
2025-06-30 v1
摘要
最近的研究表明，神经语言模型在其内部表示中编码了句法结构，但这些结构 across 层的派生方式仍鲜有了解。本文提出了派生探测 (Derivational Probing) 方法，用于探究微型句法结构（如主语名词短语）和宏型句法结构（如根动词与其直接依赖项之间的关系）如何随着词嵌入在层间向上传播而构建。我们的实验在 BERT 上表明，存在明确的自下而上派生过程：微型句法结构在较低层出现，并逐渐整合到更高层的连贯的宏型句法结构中。此外，针对主语-动词数一致性的针对性评估显示，构建宏型句法结构的时间对下游性能至关重要，暗示了集成全局句法信息的最优时机。
引用
@article{arxiv.2506.21861,
title = {Derivational Probing: Unveiling the Layer-wise Derivation of Syntactic Structures in Neural Language Models},
author = {Taiga Someya and Ryo Yoshida and Hitomi Yanaka and Yohei Oseki},
journal= {arXiv preprint arXiv:2506.21861},
year = {2025}
}