Data-QuestEval：一种用于数据到文本语义评估的无参考指标
计算与语言
2021-09-08 v3
摘要
QuestEval 是一种用于文本到文本任务的无参考指标，它通过自动提问与回答，将生成的摘要直接与源文本进行比较。将其适配到数据到文本（Data-to-Text）任务并非易事，因为这需要在相关任务上具备多模态问题生成与回答系统，而这类系统很少可用。为此，我们提出了一种构建合成多模态语料的方法，以训练用于 data-QuestEval 指标的多模态组件。所得指标是无参考且多模态的；它在 WebNLG 和 WikiBio 基准上取得了与人类判断的 state-of-the-art 相关性。为了可复现，我们将 data-QuestEval 的代码与模型作为 QuestEval 项目的一部分公开。
引用
@article{arxiv.2104.07555,
title = {Data-QuestEval: A Referenceless Metric for Data-to-Text Semantic Evaluation},
author = {Clément Rebuffel and Thomas Scialom and Laure Soulier and Benjamin Piwowarski and Sylvain Lamprier and Jacopo Staiano and Geoffrey Scoutheeten and Patrick Gallinari},
journal= {arXiv preprint arXiv:2104.07555},
year = {2021}
}
备注
Accepted at EMNLP 2021