探究变换器语言模型中语态词类的表征
计算与语言
2024-06-05 v1
摘要
我们研究预训练语言模型(PLM)如何编码俄语语言中的语态词类。语态在变换器语言模型中的编码尚未在任何语言中被研究过。一个特定挑战是“替代语境”：即完备语态或不完全语态在语法和语义上都适用。我们对 BERT 和 RoBERTa 在替代语境和非替代语境上的进行探针分析。首先，我们通过行为探针评估模型在语态预测任务中的性能。接着，我们检查当其情境表征被替换为反事实表征时的模型性能，通过因果探针进行此检查。这些反事实表征改变了“有界性”特征的值——一种语义特征，用于表征语境中动作的特性。实验表明，BERT 和 RoBERTa 确实编码了语态——主要在其最终层中。反事实干预对完备语态和不完全语态的影响是相反的，这与语法一致：完备语态因增加有界性含义而受到正面影响，反之亦然。我们的探针结果表明，仅对 BERT 的最后几层进行微调以预测语态比对整个模型进行微调更快且更有效。模型对替代语境中的语态具有较高的预测不确定性，这类语境往往缺乏对所描述动作有界性的明确线索。
引用
@article{arxiv.2406.02335,
title = {Probing the Category of Verbal Aspect in Transformer Language Models},
author = {Anisia Katinskaia and Roman Yangarber},
journal= {arXiv preprint arXiv:2406.02335},
year = {2024}
}