使用ChatGPT进行文本风格迁移的多维评估
计算与语言
2023-04-27 v1
摘要
我们研究了ChatGPT作为文本风格迁移任务的多维评估器的潜力，并与现有自动指标及人类判断进行并列和比较。我们聚焦于零样本设定，即使用特定任务指令提示ChatGPT，并在文本风格迁移评估的三个常用维度上测试其表现：风格强度、内容保持与流畅度。我们在不同层面上对两个迁移方向（及整体）进行了全面的相关性分析。与现有自动指标相比，ChatGPT取得了与人类判断具竞争力的相关性。这些初步结果旨在为大型语言模型在风格化文本生成多维评估中的作用提供初步洞见。
引用
@article{arxiv.2304.13462,
title = {Multidimensional Evaluation for Text Style Transfer Using ChatGPT},
author = {Huiyuan Lai and Antonio Toral and Malvina Nissim},
journal= {arXiv preprint arXiv:2304.13462},
year = {2023}
}