面向 AMR 文本生成可解释评估的可分解度量

从抽象意义表示（如 AMR）生成自然语言文本的系统通常使用自动表层匹配度量来评估，这些度量将生成文本与构建输入意义表示时所依据的参考文本进行比较。我们表明，除了此类度量固有的已知问题外，将其用于 AMR 到文本评估时还会出现一个额外问题，因为抽象意义表示允许大量表层实现方式。在这项工作中，我们旨在通过提出 $\mathcal{M}\mathcal{F}_\beta$ 来缓解这些问题，这是一种基于两大支柱的可分解度量。第一支柱是意义保持原则 $\mathcal{M}$：它衡量使用 SOTA AMR 解析器从生成句子中重建给定 AMR 的程度，并应用（细粒度）AMR 评估度量来度量原始 AMR 与重建 AMR 之间的距离。第二支柱基于（语法）形式原则 $\mathcal{F}$，衡量生成文本的语言质量，我们使用 SOTA 语言模型来实现。在两项广泛的试点研究中，我们表明两大支柱的满足为 AMR 到文本评估带来益处，包括分数的可解释性。由于 $\mathcal{M}\mathcal{F}_\beta$ 不一定依赖黄金 AMR，它可能扩展到其他文本生成任务。