StyleBART：以风格适配器装饰预训练模型用于无监督风格化标题生成
计算与语言
2023-11-14 v2
摘要
风格化标题生成旨在生成既概括文章内容的标题，又体现吸引用户的期望风格。由于风格特定的文章-标题配对稀缺，以往研究聚焦于利用标准标题生成数据集与单风格语料库的无监督方法。本工作沿用此思路，提出 StyleBART，一种用于风格化标题生成的无监督方法。我们的方法以负责不同风格的适配器装饰预训练 BART 模型，并通过简单切换适配器即可生成多样风格的标题。不同于以往工作，StyleBART 将风格学习与标题生成任务分离，使得在推理时可自由组合基础模型与风格适配器。我们进一步提出逆释义任务以增强风格适配器。大量自动与人工评估表明，StyleBART 在无监督风格化标题生成任务上达到新的 SOTA 性能，生成具期望风格的高质量标题。
引用
@article{arxiv.2310.17743,
title = {StyleBART: Decorate Pretrained Model with Style Adapters for Unsupervised Stylistic Headline Generation},
author = {Hanqing Wang and Yajing Luo and Boya Xiong and Guanhua Chen and Yun Chen},
journal= {arXiv preprint arXiv:2310.17743},
year = {2023}
}
备注
Findings of EMNLP 2023