这不正确！面向语言生成系统的否定感知评估
计算与语言
2023-07-27 v1 机器学习
摘要
大语言模型低估了否定词对其改变句子含义程度的影响。因此，基于这些模型的习得评估指标对否定不敏感。本文提出NegBLEURT，一种否定感知版本的BLEURT评估指标。为此，我们设计了一个基于规则句子否定工具，并用它创建了CANNOT否定评估数据集。基于该数据集，我们对句子变换器和评估指标进行了微调，以提升其否定敏感性。在现有基准上的评估表明，我们的微调模型在否定句子上大幅优于现有指标，同时保持了其基础模型在其他扰动上的性能。
引用
@article{arxiv.2307.13989,
title = {This is not correct! Negation-aware Evaluation of Language Generation Systems},
author = {Miriam Anschütz and Diego Miguel Lozano and Georg Groh},
journal= {arXiv preprint arXiv:2307.13989},
year = {2023}
}
备注
Accepted to INLG 2023