大型语言模型在文本风格迁移中是否真的表现出色？
计算与语言
2024-08-28 v2
摘要
我们分析了大型语言模型（LLMs）在文本风格迁移（TST）任务上的表现，具体 focus 于情感迁移和文本去暴力化，在三种语言（英语、印地语、孟加拉语）之间进行。文本风格迁移涉及在保留核心内容的同时修改文本的语言风格。我们使用零样本和少样本提示以及参数高效微调，对公开可用的 dataset 进行评估。通过自动评估指标、GPT-4 和人类评估，我们发现尽管一些 prompted LLMs 在英语中表现良好，但在其他语言（印地语、孟加拉语）上的表现仍偏 average。然而，微调显著优于零样本和少样本提示，结果与之前的 state-of-the-art 相当。这凸显了针对有效 TST 所需的专门 dataset 和专业模型的必要性。
引用
@article{arxiv.2406.05885,
title = {Are Large Language Models Actually Good at Text Style Transfer?},
author = {Sourabrata Mukherjee and Atul Kr. Ojha and Ondřej Dušek},
journal= {arXiv preprint arXiv:2406.05885},
year = {2024}
}