在小样本临床实体识别中保留 BERT 的经验概率

Abdul Rehman; Jian Jun Zhang; Xiaosong Yang

在小样本临床实体识别中保留 BERT 的经验概率

计算与语言 2024-09-06 v1 机器学习

作者: Abdul Rehman , Jian Jun Zhang , Xiaosong Yang

摘要

命名实体识别（NER）面临标签不平衡的挑战，即在真实世界数据集中，某些实体类型被过度代表，而其他实体类型则代表不足。这种不平衡会导致模型产生偏差，在少数实体类别上表现不佳，阻碍准确且公平的实体识别。本文探讨了基于 BERT 的预训练模型中不平衡实体标签的影响。我们在随机化数据集上分析了 token 分类任务中损失计算与损失传播的不同机制。随后，我们提出了改进高度不平衡的临床实体识别任务中 token 分类的方法。

关键词

命名实体识别 BERT 临床实体识别不平衡标签 token 分类

引用

@article{arxiv.2409.03238,
  title  = {Preserving Empirical Probabilities in BERT for Small-sample Clinical Entity Recognition},
  author = {Abdul Rehman and Jian Jun Zhang and Xiaosong Yang},
  journal= {arXiv preprint arXiv:2409.03238},
  year   = {2024}
}

备注

8 pages, 8 figures

在小样本临床实体识别中保留 BERT 的经验概率

摘要

关键词

引用

备注

相关论文