CNRL在SemEval-2020任务5中的工作：基于多头自注意力权重的反事实检测对语言因果推理建模
计算与语言
2020-06-02 v1
摘要
在本文中，我们描述了一种利用多头自注意力权重检测文本中的反事实来建模自然语言因果推理的方法。我们使用预训练的transformer模型从文本中提取上下文嵌入与自注意力权重。我们展示了使用卷积层从这些自注意力权重中提取任务特定特征。此外，我们描述了一种以公共基模型进行微调的方法，用于两个紧密相关的反事实检测子任务之间的知识共享。我们在实验中分析并比较了各种transformer模型的性能。最后，我们对多头自注意力权重进行了定性分析以解释我们模型的动态行为。
引用
@article{arxiv.2006.00609,
title = {CNRL at SemEval-2020 Task 5: Modelling Causal Reasoning in Language with Multi-Head Self-Attention Weights based Counterfactual Detection},
author = {Rajaswa Patil and Veeky Baths},
journal= {arXiv preprint arXiv:2006.00609},
year = {2020}
}
备注
Submitted at SemEval-2020 workshop