基于BERT并结合多种训练策略的缩略语消歧
计算与语言
2021-03-03 v2
摘要
缩略语消歧(AD)任务旨在给定句子中找到歧义缩略语的正确展开形式。尽管使用缩略语很方便,但有时它们可能难以理解。识别缩略语的适当展开形式是自然语言处理中的一项实用任务。由于在科学领域针对AD的工作甚少,我们在本文中提出一种结合BERT与若干训练策略(包括动态负样本选择、任务自适应预训练、对抗训练与伪标注)的二分类模型。在SciAD上的实验显示了我们提出模型的有效性,且我们的得分在SDU@AAAI-21共享任务2:缩略语消歧中排名第1。
引用
@article{arxiv.2103.00488,
title = {BERT-based Acronym Disambiguation with Multiple Training Strategies},
author = {Chunguang Pan and Bingyan Song and Shengguang Wang and Zhipeng Luo},
journal= {arXiv preprint arXiv:2103.00488},
year = {2021}
}