使用 BERT Adapter 的词典增强中文序列标注
计算与语言
2021-12-28 v3
摘要
由于各自的优势，词典信息与预训练模型（如 BERT）已被结合用于探索中文序列标注任务。然而，现有方法仅通过浅层且随机初始化的序列层融合词典特征，并未将其整合进 BERT 的底层。本文中，我们提出用于中文序列标注的词典增强 BERT（LEBERT），其通过词典 Adapter 层将外部词典知识直接整合进 BERT 层。与现有方法相比，我们的模型促进了 BERT 较低层中的深层词典知识融合。在包括命名实体识别、分词与词性标注三项任务的十个中文数据集上的实验表明，LEBERT 取得了最先进的结果。
引用
@article{arxiv.2105.07148,
title = {Lexicon Enhanced Chinese Sequence Labeling Using BERT Adapter},
author = {Wei Liu and Xiyan Fu and Yue Zhang and Wenming Xiao},
journal= {arXiv preprint arXiv:2105.07148},
year = {2021}
}
备注
Accepted by ACL2021(Long Paper)