面向形态句法的自然主义因果探 probing
计算与语言
2022-11-15 v2
摘要
探 probing 已成为自然语言处理中解释和分析深度神经模型的主流方法。然而，对于各类探针的局限与弱点仍缺乏充分理解。本文提出一种针对自然主义句子的输入级干预策略。利用该方法，我们在保持句子其余部分不变的情况下干预句子的形态句法特征。此类干预使我们能够对预训练模型进行因果探 probing。我们将自然主义因果探 probing 框架应用于分析西班牙语三个预训练模型（多语言版 BERT、RoBERTa 与 GPT-2）中提取的上下文表示的语法性属与数效应。实验表明，自然主义干预可得到各种语言属性因果效应的稳定估计。此外，实验证明了在分析预训练模型时自然主义因果探 probing 的重要性。
引用
@article{arxiv.2205.07043,
title = {Naturalistic Causal Probing for Morpho-Syntax},
author = {Afra Amini and Tiago Pimentel and Clara Meister and Ryan Cotterell},
journal= {arXiv preprint arXiv:2205.07043},
year = {2022}
}
备注
To appear in TACL 2022 and EMNLP 2022. The arXiv version is a pre-MIT Press publication version