LRG在SemEval-2020任务7中的工作：评估BERT及其衍生模型基于短编辑的幽默评分能力
计算与语言
2020-06-02 v1
摘要
在本文中，我们评估了BERT及其衍生模型（RoBERTa、DistilBERT和ALBERT）在基于短编辑的幽默评分方面的能力。我们在Humicroedit和FunLines数据集上测试了这些模型在幽默评分与分类任务上的表现。我们通过零样本推理和跨数据集推理的方法，对这些模型进行了大量实验，以测试其语言建模与泛化能力。此外，我们还通过对训练好的BERT模型最后一层自注意力权重进行定性分析，考察了自注意力层在幽默评分中的作用。我们的实验表明，所有预训练的BERT衍生模型在幽默评分相关任务上都展现出显著的泛化能力。
引用
@article{arxiv.2006.00607,
title = {LRG at SemEval-2020 Task 7: Assessing the Ability of BERT and Derivative Models to Perform Short-Edits based Humor Grading},
author = {Siddhant Mahurkar and Rajaswa Patil},
journal= {arXiv preprint arXiv:2006.00607},
year = {2020}
}
备注
Submitted at SemEval-2020 workshop