从 Transformer 到假新闻挑战立场检测（FNC-1）任务的迁移学习
计算与语言
2019-11-01 v1 信息检索
机器学习
社会与信息网络
摘要
在本文中，我们报告了假新闻挑战第一阶段（FNC-1）立场检测任务的改进结果。这一性能提升得益于基于 Transformer 架构的大型语言模型在过去两年中被发明、训练并公开发布的泛化能力。具体而言：（1）我们改进了 FNC-1 性能最佳的模型，将输入序列的 BERT 句子嵌入作为模型特征加入；（2）我们在 FNC-1 扩展数据集上对 BERT、XLNet 和 RoBERTa transformer 进行了微调，并在 FNC-1 任务上取得了最先进的结果。
引用
@article{arxiv.1910.14353,
title = {Transfer Learning from Transformers to Fake News Challenge Stance Detection (FNC-1) Task},
author = {Valeriya Slovikovskaya},
journal= {arXiv preprint arXiv:1910.14353},
year = {2019}
}
备注
12 pages, 9 tables