基于预训练上下文语言模型微调的多类分类中迁移学习的鲁棒性
机器学习
2019-09-24 v2 计算与语言
机器学习
摘要
本研究比较了利用预训练上下文语言模型进行迁移学习对 Amazon 产品数据进行多类分类的有效性与鲁棒性。具体而言，我们微调了 BERT 和 XLNet，这两个双向模型已在包括文本分类在内的许多自然语言任务和基准上取得了最先进的性能。现有的分类研究与基准除序数排序任务外多聚焦于二分类目标，而此处我们考察了当类别数从 1 增至 20 时此类模型的鲁棒性。我们的实验表明，性能指标（即精确率、召回率、 分数和准确率）随类标签数量的增加近似线性下降。在基于文本描述对产品进行分类的整个类标签数量范围内，使用相同超参数时 BERT 始终优于 XLNet。就训练所需的计算成本（即时间与内存）而言，BERT 也比 XLNet 更经济。在所有研究情形中，性能退化率的估计值为每个额外类标签 1%。
引用
@article{arxiv.1909.03564,
title = {Transfer Learning Robustness in Multi-Class Categorization by Fine-Tuning Pre-Trained Contextualized Language Models},
author = {Xinyi Liu and Artit Wangperawong},
journal= {arXiv preprint arXiv:1909.03564},
year = {2019}
}
备注
Pre-trained models and code available at https://github.com/artitw/text2class