切勿脱离上下文!论风格化重写对上下文模型与评估的需求
计算与语言
2023-10-24 v2 人工智能
摘要
大多数现有风格化文本重写方法与评估指标在句子层面运作,但忽略文本更宽泛的上下文会导致偏好通用、模糊且不连贯的重写结果。本文中,我们研究将前文文本上下文整合进风格化文本重写的与两个阶段,并引入一种新的复合上下文评估指标,将与原句的相似度与上下文连贯性相结合。我们在正式化、去毒化和情感迁移任务中比较评估了非上下文与上下文重写。实验表明,人类显著偏好上下文重写,认为其更贴切自然,而非上下文重写,但现有句子级自动指标(如 ROUGE、SBERT)与人类偏好相关性很差(=0–0.3)。相比之下,人类偏好能更好地被我们新颖的(=0.7–0.9)以及所提出的常见指标上下文注入版本(=0.4–0.7)所反映。总体而言,我们的发现凸显了将上下文整合进风格化重写的生成尤其是评估阶段的重要性。
引用
@article{arxiv.2305.14755,
title = {Don't Take This Out of Context! On the Need for Contextual Models and Evaluations for Stylistic Rewriting},
author = {Akhila Yerukola and Xuhui Zhou and Elizabeth Clark and Maarten Sap},
journal= {arXiv preprint arXiv:2305.14755},
year = {2023}
}
备注
emnlp 2023 main camera ready