如何微调 BERT 用于文本分类?
计算与语言
2020-02-06 v3
摘要
语言模型预训练已被证明有助于学习通用语言表示。作为最先进的语言模型预训练模型,BERT(Bidirectional Encoder Representations from Transformers,基于 Transformer 的双向编码器表示)已在许多语言理解任务中取得惊人结果。本文中,我们进行了详尽实验以研究 BERT 在文本分类任务上的不同微调方法,并给出 BERT 微调的通用方案。最终,所提方案在八个被广泛研究的文本分类数据集上取得了新的 SOTA 结果。
引用
@article{arxiv.1905.05583,
title = {How to Fine-Tune BERT for Text Classification?},
author = {Chi Sun and Xipeng Qiu and Yige Xu and Xuanjing Huang},
journal= {arXiv preprint arXiv:1905.05583},
year = {2020}
}