解码策略如何影响生成文本的可验证性
计算与语言
2020-09-30 v2
摘要
预训练语言模型的最新进展催生了能够生成质量日益提高的文本的系统。尽管若干工作已考察此类模型的流畅度与语法正确性，所生成文本在多大程度上与事实性世界知识一致仍不明确。在此，我们超越流畅度，亦考察最先进预训练语言模型生成文本的可验证性。若生成句子可由 Wikipedia 证实或反驳，则其可验证；我们发现生成文本的可验证性强烈依赖于解码策略。特别地，我们发现了事实性（即生成获 Wikipedia 证实文本的能力）与重复度之间的权衡。尽管 top-k 与 nucleus 采样等解码策略导致较少重复生成，它们也产生可验证性较低的文本。基于这些发现，我们引入一种简单而有效的解码策略，与先前使用的解码策略相比，其生成重复更少且可验证性更高的文本。
引用
@article{arxiv.1911.03587,
title = {How Decoding Strategies Affect the Verifiability of Generated Text},
author = {Luca Massarelli and Fabio Petroni and Aleksandra Piktus and Myle Ott and Tim Rocktäschel and Vassilis Plachouras and Fabrizio Silvestri and Sebastian Riedel},
journal= {arXiv preprint arXiv:1911.03587},
year = {2020}
}
备注
accepted at Findings of EMNLP 2020