BERTering RAMS：BERT 已知晓多少以及何种事件论元？——基于 RAMS 数据集的研究

使用（Clark 等人，2019）基于注意力图的分析框架，我们观察到，在 RAMS 数据集（Ebner 等人，2020）上，BERT 的注意力头在未经任何训练或领域微调的情况下，具有 modest 但远高于随机水平的识别事件论元的能力，从 Place 的低至 17.77% 到 Artifact 的高达 51.61% 不等。接下来，我们发现，利用约 11% 的可用事件论元检测监督估计得到的这些注意力头的线性组合，可将某些角色的 performance 推高——最高的两个为 Victim（68.29% 准确率）和 Artifact（58.82% 准确率）。此外，我们研究了方法在跨句事件论元上的表现。我们提出一种程序，将用于跨句论元检测的“最佳头”与句内论元检测的头分开隔离。由此估计的头相比联合估计的对应头具有更优的跨句表现，尽管仅在不切实际的假设（即我们已知论元存在于另一句中）下成立。最后，我们试图分离出我们的数值在多大程度上源于金标准论元与角色之间基于词频的关联。我们提出 NONCE，一种通过将金标准论元替换为随机生成的“nonce”词来创建对抗测试样本的 scheme。我们发现学习的线性组合对 NONCE 具有鲁棒性，尽管单个最佳头可能更敏感。