PURR：通过去噪语言模型损坏高效编辑语言模型幻觉
计算与语言
2023-05-25 v1
摘要
大型语言模型的卓越能力伴随着一个持续的缺陷：生成被称为“幻觉”的虚假且缺乏依据的论断。为应对此问题，近期研究引入了编辑和溯源语言模型输出的方法，特别是通过基于提示的编辑。然而，使用大型语言模型进行编辑的推理成本和速度目前制约了基于提示的方法。这些瓶颈促使了紧凑编辑器的训练，但由于此类训练数据稀缺，这一工作颇具挑战。为克服这些挑战，我们利用大型语言模型的力量向文本中引入损坏（即噪声），随后微调紧凑编辑器，通过融入相关证据对损坏进行去噪。我们的方法完全无监督，并为我们在任意领域提供用于训练的错误幻觉。我们的 Petite Unsupervised Research and Revision 模型，PURR，不仅在溯源方面优于现有的基于微调和提示的编辑方法，还实现了数量级更快的执行速度。
引用
@article{arxiv.2305.14908,
title = {PURR: Efficiently Editing Language Model Hallucinations by Denoising Language Model Corruptions},
author = {Anthony Chen and Panupong Pasupat and Sameer Singh and Hongrae Lee and Kelvin Guu},
journal= {arXiv preprint arXiv:2305.14908},
year = {2023}
}