基于 ChaTS-Pi 的可靠图表摘要

图表-摘要生成有助于数据探索、传达洞察，并帮助视障人士。多模态生成模型已用于生成流畅的摘要，但可能 suffer from 事实错误和感知错误。在本工作中，我们提出了 CHATS-CRITIC，一个用于评估摘要可信度的 reference-free 图表摘要指标。CHATS-CRITIC 由用于从图表中恢复表格的图像到文本模型组成，以及用于逐句评估摘要的表格蕴涵模型。我们发现 CHATS-CRITIC 根据人类评分评估摘要质量的效果优于 reference-based 指标，无论是学习型还是 n-gram 基于的，并且可进一步用于通过删除不受支持的句子来修复候选摘要。随后，我们引入 CHATS-PI，一个利用 CHATS-CRITIC 在推理期间修复和排序来自任何图表摘要模型所采样候选摘要的图表-摘要管道。我们使用人类评分者评估 CHATS-PI 和 CHATS-CRITIC，在两个流行的图表-摘要数据集上建立了最先进的结果。