SETTP:基于双层可迁移提示学习的风格提取与可调推理
计算与语言
2024-07-23 v1
摘要
文本风格迁移是自然语言处理中的重要研究方向,旨在使文本适应各种偏好,但常面临资源有限的挑战。本文提出一种新方法,称为风格提取与通过双层可迁移提示学习实现可调推理(SETTP),用于在低资源场景下有效进行风格迁移。首先,SETTP 从高资源风格迁移中学习包含基本风格特征的风格级提示。在训练期间,风格级提示通过注意力模块传递,以派生目标风格级提示,以在低资源风格迁移中提供有益的知识。此外,我们提出基于语义内容对目标资源进行聚类以获得实例级提示,以减少语义偏差。我们还提出了一种基于与人类评估对齐的方式来自动评估风格相似性的方法。我们的实验在三个资源丰富的风格上表明,SETTP 只需使用约其它方法 1/20 的数据量即可实现相当的性能。在涉及稀缺数据(如写作风格和角色风格)的任务中,SETTP 比以前的方法高出 16.24%。
引用
@article{arxiv.2407.15556,
title = {SETTP: Style Extraction and Tunable Inference via Dual-level Transferable Prompt Learning},
author = {Chunzhen Jin and Yongfeng Huang and Yaqi Wang and Peng Cao and Osmar Zaiane},
journal= {arXiv preprint arXiv:2407.15556},
year = {2024}
}