文本生成中质量-多样性评估与分布拟合目标之间的关系
机器学习
2020-08-20 v2 计算与语言
机器学习
摘要
文本生成模型的目标是拟合文本底层的真实概率分布。在性能评估中，通常使用质量和多样性指标。然而，目前尚不清楚质量-多样性评估能在多大程度上反映分布拟合的目标。在本文中，我们试图从理论角度揭示这种关系。我们证明，在特定条件下，质量和多样性的线性组合构成了生成分布与真实分布之间的一个散度度量。我们还表明，常用的BLEU/Self-BLEU指标对无法匹配任何散度度量，因此提出以CR/NRR作为质量/多样性指标对的替代方案。
引用
@article{arxiv.2007.01488,
title = {On the Relation between Quality-Diversity Evaluation and Distribution-Fitting Goal in Text Generation},
author = {Jianing Li and Yanyan Lan and Jiafeng Guo and Xueqi Cheng},
journal= {arXiv preprint arXiv:2007.01488},
year = {2020}
}
备注
16 pages, 7 figures. ICML2020 Final Submission