通过批次中心化和缓和词移距离改进文本生成评估
计算与语言
2020-10-14 v1 机器学习
摘要
文本自动评估指标的最新进展表明，深度上下文词表示（例如由 BERT 编码器生成的表示）有助于设计与人判断高度相关的指标。同时，有观点认为上下文词表示在编码词或句子之间的真实相似性方面表现出次优的统计特性。在本文中，我们提出了两种改进相似性度量编码表示的技术：一种批次均值中心化策略，用于改善统计特性；以及一种计算高效的缓和词移距离，用于更好地融合上下文词表示中的信息。我们进行了数值实验，证明了我们技术的鲁棒性，报告了基于各种 BERT 主干学习指标的结果，并在多个基准上实现了与人类评分最先进的相关性。
引用
@article{arxiv.2010.06150,
title = {Improving Text Generation Evaluation with Batch Centering and Tempered Word Mover Distance},
author = {Xi Chen and Nan Ding and Tomer Levinboim and Radu Soricut},
journal= {arXiv preprint arXiv:2010.06150},
year = {2020}
}
备注
EMNLP 2020 Eval4NLP Workshop