将预训练语言模型应用于西班牙语Twitter幽默预测
计算与语言
2019-07-09 v1
摘要
我们参加HAHA 2019挑战赛的系统在分类任务中获第名，在回归任务中获第名。我们描述了我们的系统与创新点，并将我们的结果与朴素贝叶斯基线进行比较。一个基于Twitter的大型语料库使我们能够从零开始训练一个专注于西班牙语的语言模型，并将该知识迁移到我们的竞赛模型中。为克服某些标签中固有的错误，我们在损失函数中使用标签平滑来降低类别置信度。我们项目的所有代码均包含在GitHub仓库中，以便参考并供他人复现。
引用
@article{arxiv.1907.03187,
title = {Applying a Pre-trained Language Model to Spanish Twitter Humor Prediction},
author = {Bobak Farzin and Piotr Czapla and Jeremy Howard},
journal= {arXiv preprint arXiv:1907.03187},
year = {2019}
}
备注
IberLEF 2019 Workshop