BIG MOOD：将Transformer与显性常识知识关联
计算与语言
2019-10-18 v1
摘要
我们引入了一种简单而有效的方法，将上下文嵌入与常识图嵌入相结合，称为BERT注入图：匹配其他嵌入（BIG MOOD）。首先，我们引入一种预处理方法来提高查询知识库的速度。然后，我们开发了一种从每个知识库创建知识嵌入的方法。我们引入了一种在两个不对齐的分词方法之间对齐词元的方法。最后，我们贡献了一种在与知识库嵌入结合后对BERT进行上下文化的方法。我们还展示了BERT纠正低准确率问题类型的倾向。我们的模型达到了比BERT更高的准确率，并在共享任务的官方排行榜上排名第五，且在没有进行任何额外语言模型预训练的情况下得分最高。
引用
@article{arxiv.1910.07713,
title = {BIG MOOD: Relating Transformers to Explicit Commonsense Knowledge},
author = {Jeff Da},
journal= {arXiv preprint arXiv:1910.07713},
year = {2019}
}
备注
Accepted to EMNLP Commonsense (COIN)