提示并重排：一种基于小语言模型的零样本与少样本任意文本风格迁移方法
计算与语言
2022-05-24 v1
摘要
我们提出了一种利用通用预训练语言模型实现任意文本风格迁移（TST）——即将文本转换为任意给定风格的任务——的方法。我们的方法 Prompt-and-Rerank 基于 TST 任务的数学表述，将其分解为三个组成部分：文本相似度、目标风格强度与流畅度。具体而言，我们的方法首先使用零样本或少样本提示（prompting）获得一组目标风格的候选生成结果，然后根据上述三个组成部分的组合对这些候选进行重排。实证表明，我们的方法使小型预训练语言模型能够达到与最先进大规模模型相当的性能，同时计算与内存消耗降低两个数量级。最后，我们针对七个不同的文本风格迁移数据集，系统研究了模型规模与提示设计（例如提示改写与分隔符对选择）对风格迁移质量的影响。
引用
@article{arxiv.2205.11503,
title = {Prompt-and-Rerank: A Method for Zero-Shot and Few-Shot Arbitrary Textual Style Transfer with Small Language Models},
author = {Mirac Suzgun and Luke Melas-Kyriazi and Dan Jurafsky},
journal= {arXiv preprint arXiv:2205.11503},
year = {2022}
}
备注
GitHub page: https://github.com/suzgunmirac/prompt-and-rerank. Project page: https://lukemelas.github.io/prompt-and-rerank/