MAUVE：利用散度边界衡量神经文本与人类文本的差距
计算与语言
2021-11-24 v3
摘要
随着开放式文本生成取得重大进展，衡量机器生成文本与人类语言之间的接近程度仍是一个关键的开放问题。我们提出 MAUVE，一种用于开放式文本生成的比较度量，它利用散度边界直接将文本生成模型所学到的分布与人类书写文本的分布进行比较。MAUVE 通过在量化嵌入空间中计算信息散度，可扩展到现代文本生成模型。通过在三个开放式生成任务上的广泛实证研究，我们发现 MAUVE 能够识别生成文本的已知特性，随模型规模自然缩放，并与人类判断相关，且比现有的分布评估度量具有更少的限制。
引用
@article{arxiv.2102.01454,
title = {MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers},
author = {Krishna Pillutla and Swabha Swayamdipta and Rowan Zellers and John Thickstun and Sean Welleck and Yejin Choi and Zaid Harchaoui},
journal= {arXiv preprint arXiv:2102.01454},
year = {2021}
}
备注
NeurIPS 2021 (Oral Presentation). Package: https://github.com/krishnap25/mauve