基于QA的中间训练是否有助于语言模型微调用于文本分类？
计算与语言
2022-01-03 v1 人工智能
摘要
为下游任务微调预训练语言模型已成为NLP的常态。近来发现，基于问答（QA）等高层推理任务的中间训练可提升某些语言模型在目标任务上的表现。然而尚不清楚中间训练是否普遍有益于各类语言模型。本文使用SQuAD-2.0 QA任务作为中间训练以用于目标文本分类任务，基于两个基础与两个紧凑语言模型，在八个单序列分类与八个序列对分类任务上进行了实验。我们的实验表明，除类似QA任务外，基于QA的中间训练在不同语言模型间产生各异的迁移表现。
引用
@article{arxiv.2112.15051,
title = {Does QA-based intermediate training help fine-tuning language models for text classification?},
author = {Shiwei Zhang and Xiuzhen Zhang},
journal= {arXiv preprint arXiv:2112.15051},
year = {2022}
}
备注
Accepted by ALTA 2021