AT-BERT：用于缩略语识别的对抗训练 BERT——SDU@AAAI-21 夺冠方案
计算与语言
2021-01-13 v2
摘要
缩略语识别致力于找出缩略语及其所缩写的短语，这对科学文献理解任务至关重要。然而，人工标注数据集规模有限阻碍了该问题的进一步改进。在大型语料上预训练的语言模型近期取得的突破清楚地表明，无监督预训练可极大提升下游任务性能。本文中，我们提出一种称为 AT-BERT 的对抗训练 BERT 方法，即我们在 AAAI 2021 科学文献理解（SDU）挑战赛缩略语识别任务上的夺冠方案。具体而言，采用预训练 BERT 以捕获更好的语义表示。随后我们将 FGM 对抗训练策略融入 BERT 微调，使模型更鲁棒且具泛化性。此外，设计了一种集成机制以融合从多个 BERT 变体学到的表示。综合上述所有组件，在 SciAI 数据集上的实验结果表明，我们所提方法优于其他所有具竞争力的先进方法。
引用
@article{arxiv.2101.03700,
title = {AT-BERT: Adversarial Training BERT for Acronym Identification Winning Solution for SDU@AAAI-21},
author = {Danqing Zhu and Wangli Lin and Yang Zhang and Qiwei Zhong and Guanxiong Zeng and Weilin Wu and Jiayu Tang},
journal= {arXiv preprint arXiv:2101.03700},
year = {2021}
}
备注
Accepted to SDU @ AAAI 2021, 8 pages, 3 figures