Lex-BERT:以词典增强基于 BERT 的命名实体识别
计算与语言
2021-04-19 v2
摘要
本工作中,我们提出 Lex-BERT,它以自然方式将词典信息融入中文 BERT 以用于命名实体识别(NER)任务。与 FLAT 中使用词嵌入与新设计的 transformer 层不同,我们使用特殊标记识别句子中词的边界,修改后的句子将直接由 BERT 编码。我们的模型不引入任何新参数,且比 FLAT 更高效。此外,我们不需要任何伴随词典集合的词嵌入。在 Ontonotes 与 ZhCrossNER 上的实验表明,我们的模型优于 FLAT 与其他基线。
引用
@article{arxiv.2101.00396,
title = {Lex-BERT: Enhancing BERT based NER with lexicons},
author = {Wei Zhu and Daniel Cheung},
journal= {arXiv preprint arXiv:2101.00396},
year = {2021}
}
备注
Will incorporate new ideas, and more experiments, and better descriptions