微调BERT用于抽取式摘要

Yang Liu

微调BERT用于抽取式摘要

计算与语言 2019-09-06 v2

作者: Yang Liu

摘要

BERT是一个预训练的Transformer模型,在多项NLP任务上取得了突破性性能。本文中,我们描述了BERTSUM,一种BERT的简单变体,用于抽取式摘要。我们的系统在CNN/Dailymail数据集上达到最优性能(state of the art),在ROUGE-L上比先前最佳系统高出1.65。复现我们结果的代码见 https://github.com/nlpyang/BertSum

关键词

BERT 抽取式摘要 Transformer BERTSUM CNN/Dailymail ROUGE-L

引用

@article{arxiv.1903.10318,
  title  = {Fine-tune BERT for Extractive Summarization},
  author = {Yang Liu},
  journal= {arXiv preprint arXiv:1903.10318},
  year   = {2019}
}

备注

fix figure 1

相关论文

查看更多相关论文 →