利用大规模域外常识增强自然语言表示
计算与语言
2022-03-15 v3
摘要
我们研究如何通过文本常识增强文本表示。我们指出常识具有领域差异的特性，即常识具有不同的数据格式，且与下游任务领域无关。这一特性给在通用文本理解任务中引入常识带来了挑战。引入文本知识的典型方法是在常识语料上继续预训练。然而，由于领域差异，这会导致对下游任务的灾难性遗忘。此外，以往直接将文本描述作为额外输入信息的方法无法应用于大规模常识。在本文中，我们提出利用大规模域外常识来增强文本表示。为了有效融入常识，我们提出了 OK-Transformer（域外知识增强的 Transformer）。OK-Transformer 有效整合常识描述并将其增强到目标文本表示中。此外，OK-Transformer 可以免费适配基于 Transformer 的语言模型（如 BERT、RoBERTa），无需在大规模无监督语料上预训练。我们已在常识推理、通用文本分类和低资源常识设定等多个应用中验证了 OK-Transformer 的有效性。
引用
@article{arxiv.2109.02572,
title = {Enhancing Natural Language Representation with Large-Scale Out-of-Domain Commonsense},
author = {Wanyun Cui and Xingran Chen},
journal= {arXiv preprint arXiv:2109.02572},
year = {2022}
}