利用语义角色标注评估文本的事实一致性
计算与语言
2023-05-23 v1
摘要
文本生成系统的自动评估近期受到越来越多的关注，尤其是检查生成文本是否忠实于输入源。现有方法常依赖使用特定任务语言模型的评估，这导致生成分数的可解释性很低。我们提出 SRLScore，一种以文本摘要为设计目标的免参考评估指标。我们的方法从语义角色标注构建事实元组，同时应用于输入与摘要文本。最终的事实性分数由可调评分机制计算，便于该方法跨领域轻松适配。在英语摘要数据集上与人判的相关性表明，SRLScore 与最先进方法具有竞争力，并在不同数据集间展现出稳定泛化，无需进一步训练或超参数调优。我们尝试了可选的共指消解步骤，但发现性能提升大多被额外计算开销所抵消。我们的指标在线发布于 https://github.com/heyjing/SRLScore。
引用
@article{arxiv.2305.13309,
title = {Evaluating Factual Consistency of Texts with Semantic Role Labeling},
author = {Jing Fan and Dennis Aumiller and Michael Gertz},
journal= {arXiv preprint arXiv:2305.13309},
year = {2023}
}
备注
Accepted at *SEM 2023