NERDA-Con：扩展 NER 模型以支持持续学习——融合异构任务与更新分布偏移
计算与语言
2022-06-30 v1
摘要
随着在生物医学信息抽取流水线和社会媒体分析等领域的应用日益增多，命名实体识别（NER）已成为知识抽取不可或缺的工具。然而，随着语言结构与词汇的逐渐变迁，NER 深受分布偏移困扰，若不经重新训练便会失效或效益大减。基于大语言模型（LLMs）从头在新获取的数据上重新训练 NER 存在经济上的劣势。相反，仅用新获取的数据重新训练会导致对先前所获知识的灾难性遗忘（Catastrophic Forgetting）。因此，我们提出 NERDA-Con，一种通过将对弹性权重巩固（EWC）的引入融入 NER 微调 NERDA 流水线、以 LLM 为基座训练 NER 的流水线。由于我们相信我们的工作可被用于持续学习与 NER 的流水线中，我们开源了我们的代码，并在 https://github.com/SupritiVijay/NERDA-Con 和 https://pypi.org/project/NERDA-Con/ 提供了同名微调库 NERDA-Con。
引用
@article{arxiv.2206.14607,
title = {NERDA-Con: Extending NER models for Continual Learning -- Integrating Distinct Tasks and Updating Distribution Shifts},
author = {Supriti Vijay and Aman Priyanshu},
journal= {arXiv preprint arXiv:2206.14607},
year = {2022}
}
备注
6 pages, 4 figures, Accepted at Workshop on Updatable Machine Learning(UpML), International Conference on Machine Learning (ICML'22)