CausalBERT：以极小监督将因果知识注入预训练模型
计算与语言
2021-08-10 v2
摘要
近期研究表明，引入 BERT 等预训练模型可改进 NLP 系统。然而，现有预训练模型缺乏因果知识，阻碍了当今 NLP 系统像人类一样思考。本文研究将因果知识注入预训练模型的问题。存在两个基本问题：1) 如何从非结构化文本中收集不同粒度的因果对；2) 如何有效地将因果知识注入预训练模型。为解决这些问题，我们扩展了先前研究中的 CausalBERT 思想，并在多个数据集上实验以评估其有效性。此外，我们采用基于正则化的方法，在注入因果知识的同时通过额外的正则项保留已学到的知识。在 7 个数据集（包括四个因果对分类任务、两个因果问答任务和一个因果推断任务）上的大量实验表明，CausalBERT 捕获了丰富的因果知识，并优于所有基于预训练模型的 SOTA 方法，建立了新的因果推断基准。
引用
@article{arxiv.2107.09852,
title = {CausalBERT: Injecting Causal Knowledge Into Pre-trained Models with Minimal Supervision},
author = {Zhongyang Li and Xiao Ding and Kuo Liao and Bing Qin and Ting Liu},
journal= {arXiv preprint arXiv:2107.09852},
year = {2021}
}