与语言模型玩香农游戏：一种无人工参与的摘要评估方法
计算与语言
2021-12-17 v2 机器学习
摘要
摘要的目标是以简洁的方式陈述文档中最重要的信息。秉持这一原则，我们引入了新颖的免参考摘要评估指标，其使用预训练语言模型来估计文档与其摘要之间共享的信息内容。这些指标是对香农游戏（一种数十年前提出的摘要质量评分方法）的现代诠释，其中我们以语言模型替代人类标注者。我们亦将这些指标视为 BLANC 的扩展，BLANC 是近期提出的基于语言模型在有无摘要辅助下表现差异的摘要质量度量方法。使用基于 transformer 的语言模型，我们经实证验证，我们的指标在与人类关于摘要连贯性与相关性质量维度的判断相关性上达到了最先进（SOTA）水平，并且在与人类关于一致性和流畅性判断的相关性上具有竞争力。
引用
@article{arxiv.2103.10918,
title = {Play the Shannon Game With Language Models: A Human-Free Approach to Summary Evaluation},
author = {Nicholas Egan and Oleg Vasilyev and John Bohannon},
journal= {arXiv preprint arXiv:2103.10918},
year = {2021}
}
备注
To appear at AAAI 2022