用于语言理解的语义感知 BERT
计算与语言
2020-02-05 v3
摘要
近期关于语言表示的工作将上下文特征精心整合进语言模型训练中，带来一系列成功，尤其在各类机器阅读理解与自然语言推理任务上。然而，包括 ELMo、GPT 和 BERT 在内的现有语言表示模型仅利用字符或词嵌入等朴素上下文敏感特征，很少考虑融入可为语言表示提供丰富语义的结构化语义信息。为促进自然语言理解，我们提出从预训练语义角色标注中引入显式上下文语义，并给出改进的语言表示模型——语义感知 BERT（SemBERT），其能在 BERT 骨干上显式吸收上下文语义。SemBERT 以保持其 BERT 前身的便捷可用性，以轻量微调方式实现，无需大量任务特定修改。与 BERT 相比，语义感知 BERT 概念同样简单却更强大，在十个阅读理解与语言推理任务上取得新的最优结果或大幅改进。
引用
@article{arxiv.1909.02209,
title = {Semantics-aware BERT for Language Understanding},
author = {Zhuosheng Zhang and Yuwei Wu and Hai Zhao and Zuchao Li and Shuailiang Zhang and Xi Zhou and Xiang Zhou},
journal= {arXiv preprint arXiv:1909.02209},
year = {2020}
}
备注
Thirty-Fourth AAAI Conference on Artificial Intelligence (AAAI-2020)