ApplicaAI 在 SemEval-2020 任务 11 上的工作：关于 RoBERTa-CRF、Span CLS 以及自训练是否对它们有帮助
计算与语言
2020-09-08 v2
摘要
本文介绍了在宣传技术分类（TC）任务中获胜的系统，以及在宣传片段识别（SI）任务中排名第二的系统。TC 任务的目的是在给定宣传文本片段的情况下识别所应用的宣传技术。SI 任务的目标是找到包含至少一种宣传技术的具体文本片段。两种已开发的解决方案都使用了自训练这一半监督学习技术。有趣的是，尽管 CRF 几乎不与基于 transformer 的语言模型一起使用，但 SI 任务采用了 RoBERTa-CRF 架构来处理。针对 TC 任务，我们提出了一种基于 RoBERTa 的模型集成，其中之一的模型使用了我们在本文中引入的 Span CLS 层。除了描述所提交的系统中，我们还研究了架构决策和训练方案的影响，并对以更低计算预算训练出同等或更优质量模型的注意事项进行了探讨。最后，给出了错误分析的结果。
引用
@article{arxiv.2005.07934,
title = {ApplicaAI at SemEval-2020 Task 11: On RoBERTa-CRF, Span CLS and Whether Self-Training Helps Them},
author = {Dawid Jurkiewicz and Łukasz Borchmann and Izabela Kosmala and Filip Graliński},
journal= {arXiv preprint arXiv:2005.07934},
year = {2020}
}