UPB在SemEval-2020任务6中的工作：用于定义抽取的预训练语言模型
计算与语言
2020-09-18 v2 人工智能
信息检索
机器学习
摘要
本文介绍了我们在SemEval-2020第6项任务：从教科书自由文本中抽取定义（DeftEval）中的贡献。该竞赛包含三个不同粒度的子任务：（1）将句子分类为定义性或非定义性，（2）对定义性句子进行标注，以及（3）关系分类。我们使用多种预训练语言模型（即BERT、XLNet、RoBERTa、SciBERT与ALBERT）来解决竞赛的三个子任务。具体而言，对于每种语言模型变体，我们分别冻结其权重与微调权重进行实验。我们还探索了一种多任务架构，联合训练以预测第二与第三子任务的输出。我们在DeftEval数据集上评估的最佳模型在第一子任务取得第32名、第二子任务取得第37名。代码已发布于 https://github.com/avramandrei/DeftEval 以供进一步研究。
引用
@article{arxiv.2009.05603,
title = {UPB at SemEval-2020 Task 6: Pretrained Language Models for Definition Extraction},
author = {Andrei-Marius Avram and Dumitru-Clementin Cercel and Costin-Gabriel Chiru},
journal= {arXiv preprint arXiv:2009.05603},
year = {2020}
}