基于对比分布方法的开放域文本评估
计算与语言
2024-06-11 v4
摘要
由大型预训练语言模型（LLM）驱动，开放域文本生成近期取得显著进展，展现出卓越性能。然而，评估这些模型的生成质量仍具挑战。本文提出一种名为对比分布方法（CDM）的开放域文本生成评估新方法。利用模型参数增加与LLM性能提升之间的关联，CDM将两种概率分布——其中一种已知优于另一种——的“对比”映射至质量度量。我们在两种范式下探究CDM用于开放域文本生成评估：1）生成式CDM，利用两个语言模型分布的对比生成合成样本以训练基于判别器的指标；2）判别式CDM，直接利用两个语言模型间的分布差异进行评估。我们在多轮对话连贯性评估与可控生成常识评估上的实验表明，CDM与人工判断的相关性优于现有自动评估指标，凸显了本方法的优异性能与泛化能力。
引用
@article{arxiv.2306.11879,
title = {Open-Domain Text Evaluation via Contrastive Distribution Methods},
author = {Sidi Lu and Hongyi Liu and Asli Celikyilmaz and Tianlu Wang and Nanyun Peng},
journal= {arXiv preprint arXiv:2306.11879},
year = {2024}
}
备注
Accepted to ICML 2024