FrugalScore：学习更廉价、更轻量、更快速的自然语言生成自动评测指标
计算与语言
2021-10-19 v1
摘要
快速且可靠的评测指标是研发进展的关键。传统的自然语言生成指标虽然快速，但可靠性不高。相反，基于大型预训练语言模型的新指标可靠性更高，但需要大量的计算资源。在本文中，我们提出 FrugalScore，一种学习任何昂贵 NLG 指标的一个固定、低成本的版本的方法，同时保留其大部分原始性能。在摘要和翻译任务上基于 BERTScore 和 MoverScore 的实验表明，FrugalScore 与原始指标相当（有时更优），同时参数量少几个数量级且运行速度快数倍。在所有学习的指标、任务和变体的平均情况下，FrugalScore 保留了 96.8% 的性能，运行速度快 24 倍，且参数量比原始指标少 35 倍。我们公开了我们训练好的指标，以使整个 NLP 社区，特别是资源有限的研究人员和从业者受益。
引用
@article{arxiv.2110.08559,
title = {FrugalScore: Learning Cheaper, Lighter and Faster Evaluation Metricsfor Automatic Text Generation},
author = {Moussa Kamal Eddine and Guokan Shang and Antoine J. -P. Tixier and Michalis Vazirgiannis},
journal= {arXiv preprint arXiv:2110.08559},
year = {2021}
}