利用大规模金融语料提升命名实体识别性能
计算与语言
2020-08-03 v1 机器学习
摘要
训练大型深度神经网络需要海量高质量标注数据，但对于小企业而言时间和人力成本过于昂贵。我们以一个小规模、低质量的训练数据启动公司名称识别任务，随后运用技巧以最小人力成本提升模型训练速度与预测性能。我们使用的方法包括在金融语料上预训练轻量级语言模型（如 Albert-small 或 Electra-small）、知识蒸馏与多阶段学习。结果是我们将召回率提升了近 20 个点，并达到 BERT-CRF 模型 4 倍的速度。
引用
@article{arxiv.2007.15871,
title = {Improving NER's Performance with Massive financial corpus},
author = {Han Zhang},
journal= {arXiv preprint arXiv:2007.15871},
year = {2020}
}