RoBERTa-wwm-ext 微调用于中文文本分类
计算与语言
2021-03-02 v1
摘要
Transformer 的双向编码器表示（BERT）已被证明是一种有望显著提升各类自然语言处理任务性能的方法 [Devlin et al., 2019]。同时，过去几年各种神经网络取得的进展也证明了神经网络在自然语言处理领域的有效性。在本项目中，采用了 RoBERTa-wwm-ext [Cui et al., 2019] 预训练语言模型并针对中文文本分类进行微调。这些模型能够将中文文本分为两类，即合法行为描述与违法行为描述。文中还提出了四种不同的模型。这些模型将使用 RoBERTa-wwm-ext 作为嵌入层，并将嵌入送入不同的神经网络。提出这些模型的动机很直接：通过引入复杂的输出层架构，可提升模型的整体性能。所有模型均在源自中国公开法庭记录的数据集上训练，并比较了不同模型的性能。实验表明，所提模型在准确率与训练效率方面未能超越原始的 RoBERTa-wwm-ext 模型。
引用
@article{arxiv.2103.00492,
title = {RoBERTa-wwm-ext Fine-Tuning for Chinese Text Classification},
author = {Zhuo Xu},
journal= {arXiv preprint arXiv:2103.00492},
year = {2021}
}