失忆探针:基于失忆反事实的行为解释
计算与语言
2021-02-22 v3
摘要
越来越多的工作利用探针(probing)来研究常被视为黑盒的神经网络模型的内在机制。近来,围绕探针范式局限性的争论不断涌现。在本文中,我们指出从探针结果推断行为结论的不可能性,并提供一种替代方法,该方法关注信息如何被使用,而非编码了什么信息。我们的方法——失忆探针(Amnesic Probing)——遵循如下直觉:某一属性对给定任务的效用,可通过度量将其从表示中移除的因果干预所产生的影响来评估。借助这一新分析工具,我们可以提出以往无法回答的问题,例如:词性信息对词预测是否重要?我们在BERT上进行了一系列分析以回答此类问题。我们的发现表明,传统的探针性能与任务重要性无关,并呼吁对从探针结果得出行为或因果结论的主张加强审视。
引用
@article{arxiv.2006.00995,
title = {Amnesic Probing: Behavioral Explanation with Amnesic Counterfactuals},
author = {Yanai Elazar and Shauli Ravfogel and Alon Jacovi and Yoav Goldberg},
journal= {arXiv preprint arXiv:2006.00995},
year = {2021}
}
备注
TACL journal. Initial title was: "When Bert Forgets How To POS: Amnesic Probing of Linguistic Properties and MLM Predictions"