决定 BERT 优先执行何种处理过程的中介因素
计算与语言
2022-09-08 v1
摘要
利用神经模型的激活模式探查其执行下游任务的能力，常被用于定位网络中哪些部分专门执行哪些任务。然而，很少有工作关注此类比较中潜在的中介因素。作为一个测试案例的中介因素，我们考虑预测的上下文长度，即执行该预测所需处理的最小跨度的长度。我们表明，若不控制上下文长度，可能会因探查数据集的分布不同而对网络的定位模式得出相互矛盾的结论。事实上，当用七个任务探查 BERT 时，我们发现通过操纵探查数据集中上下文长度的分布，可以得到它们之间 196 种不同的排序。最后，我们提出了未来进行此类比较的最佳实践。
引用
@article{arxiv.2104.06400,
title = {Mediators in Determining what Processing BERT Performs First},
author = {Aviv Slobodkin and Leshem Choshen and Omri Abend},
journal= {arXiv preprint arXiv:2104.06400},
year = {2022}
}
备注
Accepted to NAACL 2021