FACE：基于交叉熵傅里叶分析的自然语言生成评估方法
计算与语言
2023-10-26 v4
摘要
度量机器生成语言与人类语言之间的距离是一个关键的开放问题。受心理语言学关于语言熵周期性的实证发现启发，我们提出 FACE，一组基于语言估计交叉熵的傅里叶分析、用于度量模型生成语言与人类书写语言相似度的指标。基于开放式生成任务及既往研究的实验数据，我们发现 FACE 能有效识别人机差距、随模型规模而缩放、反映不同解码采样方法的结果，并与其他评估指标及人类判断分数良好相关。
引用
@article{arxiv.2305.10307,
title = {FACE: Evaluating Natural Language Generation with Fourier Analysis of Cross-Entropy},
author = {Zuhao Yang and Yingfang Yuan and Yang Xu and Shuo Zhan and Huajun Bai and Kefan Chen},
journal= {arXiv preprint arXiv:2305.10307},
year = {2023}
}
备注
NeurIPS 2023