重新思考并改进 Distinct 度量
计算与语言
2022-04-05 v3 人工智能
摘要
Distinct- 分数\cite{Li2016} 是语言生成任务中用于评估多样性的广泛使用的自动度量。然而，我们观察到计算 distinct 分数的原始方法存在明显的偏差，倾向于对较长序列施加更高的惩罚。我们通过基于期望对不同的词元数量进行缩放来改进 distinct 分数的计算。我们提供了经验和理论证据，表明我们的方法有效去除了原始 distinct 分数中存在的偏差。我们的实验表明，我们提出的度量 \textit{Expectation-Adjusted Distinct (EAD)} 在评估回复多样性时与人类判断具有更好的相关性。为促进未来研究，我们在 \url{https://github.com/lsy641/Expectation-Adjusted-Distinct} 提供了一个示例实现。
引用
@article{arxiv.2202.13587,
title = {Rethinking and Refining the Distinct Metric},
author = {Siyang Liu and Sahand Sabour and Yinhe Zheng and Pei Ke and Xiaoyan Zhu and Minlie Huang},
journal= {arXiv preprint arXiv:2202.13587},
year = {2022}
}
备注
4 pages, to be published at ACL2022