基于 LLM 与注意力掩码的多向交互无监督文本风格迁移
计算与语言
2024-02-22 v1 人工智能
摘要
无监督文本风格迁移 (UTST) 已成为自然语言处理 (NLP) 领域的一项关键任务，旨在不改变句子语义、句法或其他属性的情况下，将句子的某一风格方面转换为另一种风格。鉴于平行文本配对的内在缺乏，该任务尤为具有挑战性。在现有的 UTST 任务方法中，注意力掩码方法和大型语言模型 (LLMs) 被视为两种开创性方法。然而，它们分别在生成不流畅句子和改变原始内容方面存在不足。在本文中，我们研究了能否有效结合这两种方法。我们提出了四种交互方式，即具有调整顺序的流水线框架；从 LLM 到注意力掩码模型的知识蒸馏；利用构建的平行示例进行的上下文学习。我们通过实验证明，这些多向交互能够在风格强度、内容保持和文本流畅度的某些方面改进基线。实验还表明，简单地先进行提示再进行基于注意力掩码的修正，能够持续超越其他系统，包括有监督文本风格迁移系统。在 Yelp-clean 和 Amazon-clean 数据集上，它分别将此前最佳的平均指标提升了 0.5 和 3.0 个绝对百分点，并取得了新的 SOTA 结果。
引用
@article{arxiv.2402.13647,
title = {Unsupervised Text Style Transfer via LLMs and Attention Masking with Multi-way Interactions},
author = {Lei Pan and Yunshi Lan and Yang Li and Weining Qian},
journal= {arXiv preprint arXiv:2402.13647},
year = {2024}
}