关于对比搜索与对比解码在开放式文本生成中的实证研究
计算与语言
2022-11-22 v1
摘要
在本研究中，我们实证比较了两种近期提出的用于开放式文本生成的解码方法，即对比搜索（Contrastive Search, CS）与对比解码（Contrastive Decoding, CD）。自动评估结果指出，尽管 CS 在 MAUVE 指标上表现不如 CD，但其在多样性和连贯性指标上大幅超越 CD。更值得注意的是，跨三个不同领域的广泛人工评估表明，人工标注者普遍以显著优势偏好 CS 而非 CD。MAUVE 与人工评估之间的矛盾结果揭示出 MAUVE 并未准确反映人类偏好。因此，我们呼吁研究界开发更好的开放式文本生成评估指标。为确保我们工作的可复现性，我们已在 https://github.com/yxuansu/Contrastive_Search_versus_Contrastive_Decoding 开源了所有代码、评估结果及人工标注。
引用
@article{arxiv.2211.10797,
title = {An Empirical Study On Contrastive Search And Contrastive Decoding For Open-ended Text Generation},
author = {Yixuan Su and Jialu Xu},
journal= {arXiv preprint arXiv:2211.10797},
year = {2022}
}
备注
Technical report with 9 pages, 5 tables, and 6 figures