对齐、掩码与选择：一种将常识知识融入语言表示模型的简单方法
计算与语言
2020-05-07 v5
摘要
最先进的预训练语言表示模型，如 Bidirectional Encoder Representations from Transformers（BERT），很少显式地融入常识知识或其他知识。我们提出了一种将常识知识融入语言表示模型的预训练方法。我们构建了一个常识相关的多选问答数据集用于预训练神经语言表示模型。该数据集由我们提出的“对齐、掩码与选择”（AMS）方法自动创建。我们还研究了不同的预训练任务。实验结果表明，使用所提方法进行预训练后再进行微调，在两个常识相关基准（包括 CommonsenseQA 和 Winograd Schema Challenge）上相比先前最先进的模型取得了显著提升。我们还观察到，经过所提预训练方法微调后的模型，在句子分类和自然语言推理任务等其他 NLP 任务上，与原始 BERT 模型保持相当的性能。这些结果验证了所提方法在显著提升常识相关 NLP 任务的同时，不会削弱通用语言表示能力。
引用
@article{arxiv.1908.06725,
title = {Align, Mask and Select: A Simple Method for Incorporating Commonsense Knowledge into Language Representation Models},
author = {Zhi-Xiu Ye and Qian Chen and Wen Wang and Zhen-Hua Ling},
journal= {arXiv preprint arXiv:1908.06725},
year = {2020}
}