用于讽刺检测的多任务双向 Transformer 表示
计算与语言
2019-11-01 v3 机器学习
摘要
有监督深度学习需要大量训练数据。在 FIRE2019 阿拉伯语讽刺检测共享任务（IDAT@FIRE2019）的背景下，我们展示了如何通过在多任务设置中对预训练的来自 Transformer 的双向编码器（BERT）在金标数据上进行微调来缓解这一需求。我们通过进一步在“领域内”数据上继续预训练 BERT 来进一步改进我们的模型，从而缓解 Google 发布的 BERT 模型中存在的方言不匹配问题。我们的最佳模型取得了 82.4 的宏 F1 分数，并具有完全无需特征工程的独特优势（即仅基于深度学习）。
引用
@article{arxiv.1909.03526,
title = {Multi-Task Bidirectional Transformer Representations for Irony Detection},
author = {Chiyu Zhang and Muhammad Abdul-Mageed},
journal= {arXiv preprint arXiv:1909.03526},
year = {2019}
}