用于文本风格迁移的风格特定神经元
计算与语言
2024-10-02 v1
摘要
文本风格迁移（TST）旨在修改文本的风格而不改变其原始含义。大型语言模型（LLMs）在多个任务中表现出色，包括TST。然而，在零样本设置下，它们倾向于直接复制大量输入文本到输出，而无法有效改变其风格。为增强文本的风格多样性和流畅性，我们提出了sNeuron-TST，这是一种利用TST中的风格特定神经元来引导LLM的新方法。具体而言，我们识别与源风格和目标风格相关的神经元，并停用仅包含源风格的神经元，以给目标风格词汇更高的概率，从而增强生成文本的风格多样性。然而，我们发现，这种停用会 negatively 影响生成文本的流畅性，我们通过提出一种改进的对比解码方法来解决这一问题，该方法考虑到因停用源风格神经元而导致的跨层快速标记概率变化。实验结果表明，所提方法在包含礼貌、有害、政治、礼节、作者身份和情感等六个基准测试上的有效性。
引用
@article{arxiv.2410.00593,
title = {Style-Specific Neurons for Steering LLMs in Text Style Transfer},
author = {Wen Lai and Viktor Hangya and Alexander Fraser},
journal= {arXiv preprint arXiv:2410.00593},
year = {2024}
}
备注
Accepted at EMNLP 2024 main conference. The code is publicly available at https://github.com/wenlai-lavine/sNeuron-TST