面向多语言缩略语抽取的领域自适应预训练
计算与语言
2022-07-01 v1
摘要
本文介绍了我们参与 SDU@AAAI-22 多语言缩略语抽取共享任务的发现。该任务包含从科学与法律领域共 6 种语言的文档中抽取缩略语。为解决多语言缩略语抽取问题，我们采用了带有多语言 XLM-RoBERTa 嵌入的 BiLSTM-CRF。我们在共享任务语料上对 XLM-RoBERTa 模型进行了预训练，以进一步使 XLM-RoBERTa 嵌入适应共享任务领域。我们的系统（团队：SMR-NLP）在所有语言的缩略语抽取上均取得了具有竞争力的性能。
引用
@article{arxiv.2206.15221,
title = {Domain Adaptive Pretraining for Multilingual Acronym Extraction},
author = {Usama Yaseen and Stefan Langer},
journal= {arXiv preprint arXiv:2206.15221},
year = {2022}
}
备注
SDU@AAAI-22