DeepTitle——利用 BERT 生成搜索引擎优化的标题
机器学习
2021-07-26 v1
摘要
为在线新闻文章自动生成标题并非易事——机器生成的标题需要语法正确、信息丰富、引人注目，并能产生搜索流量，同时不能成为“标题党”或“假新闻”。在本文中，我们展示了如何利用预训练语言模型为德语创建一个生成式新闻标题生成器。我们结合了用于生成式文本摘要的最先进微调技术，即为编码器和解码器使用不同的优化器，其中前者是预训练的，而后者是从头训练的。我们修改了标题生成过程，以纳入与搜索引擎优化相关的常用搜索关键词。我们在一个德语新闻数据集上进行了实验，实现了 40.02 的 ROUGE-L-gram F 分数。此外，我们通过引入句子相似度指标和人工评估，探讨了 ROUGE 在衡量文本摘要质量方面的局限性。
引用
@article{arxiv.2107.10935,
title = {DeepTitle -- Leveraging BERT to generate Search Engine Optimized Headlines},
author = {Cristian Anastasiu and Hanna Behnke and Sarah Lück and Viktor Malesevic and Aamna Najmi and Javier Poveda-Panter},
journal= {arXiv preprint arXiv:2107.10935},
year = {2021}
}
备注
9 pages, 4 figures