对于生成文本，NLI 中立文本是否是最佳文本？
计算与语言
2024-01-23 v3
摘要
我们探索将自然语言推理（NLI）引入文本生成流程，使用预训练 NLI 模型评估所生成句子是否蕴含、矛盾或中立于提示词及前文。首先，我们表明 NLI 任务可预测 GPT-3 所犯的生成错误。我们利用这些结果开发了面向 GPT-J 的 NLI 知情生成流程。随后，我们通过获取人工标注的错误类型与整体质量来评估这些生成结果。我们发现，当核采样随机性参数值较高时，最大化蕴含的 NLI 策略可改善文本生成；而最大化矛盾的策略在参数值较低时实际上富有成效。但总体而言，我们证明无论参数值如何，最大化中立类的 NLI 策略所提供的生成文本质量最高（显著优于原始生成结果）。
引用
@article{arxiv.2302.08577,
title = {For Generated Text, Is NLI-Neutral Text the Best Text?},
author = {Michail Mersinias and Kyle Mahowald},
journal= {arXiv preprint arXiv:2302.08577},
year = {2024}
}