UU-Tax在SemEval-2022任务3中的表现：通过数据增强提升分类语言模型的泛化能力
计算与语言
2022-10-10 v1 人工智能
机器学习
摘要
本文介绍了我们解决SemEval-2022任务3 PreTENS（预设分类法评估神经网络语义）的策略。该任务的目标是根据句子中包含的名词对之间所持有的分类关系，判断句子是否可接受。对于子任务1——二分类——我们提出了一种有效方法来增强语言模型的鲁棒性和泛化能力，以在该下游任务上实现更好的分类。我们设计了一种基于ELECTRA语言模型、使用数据增强技术的两阶段微调流程。利用多任务学习和数据增强微调进行了严谨的实验。实验结果表明，我们提出的模型UU-Tax确实能够很好地泛化到我们的下游任务。对于子任务2——回归——我们提出了一种简单的分类器，其训练特征来自Universal Sentence Encoder（USE）。除描述所提交的系统外，我们还讨论了采用预训练语言模型和数据增强技术的其他实验。对于两个子任务，我们均进行了错误分析以进一步理解所提模型的行为。我们在子任务1中取得了91.25%的全局F1_Binary分数，在子任务2中取得了0.221的rho分数。
引用
@article{arxiv.2210.03378,
title = {UU-Tax at SemEval-2022 Task 3: Improving the generalizability of language models for taxonomy classification through data augmentation},
author = {Injy Sarhan and Pablo Mosteiro and Marco Spruit},
journal= {arXiv preprint arXiv:2210.03378},
year = {2022}
}