通过重述前缀提示编辑语言模型的知识表征

神经语言模型（LMs）已在海量语料库上进行了广泛训练，以存储文本中描述的关于世界各方面的知识。当前技术通常采用知识编辑方法或特定提示来修改LM输出。然而，现有的知识编辑方法成本高且效率低，难以生成恰当的文本。此外，提示工程不透明，且需要大量努力来寻找合适的提示。为解决这些问题，我们引入了一种名为PSPEM（前缀软提示编辑方法）的新方法，该方法仅需一次训练便可终身使用。它解决了知识编辑方法中的低效和泛化性问题，并通过自动寻找最优软提示克服了提示工程的不透明性。具体而言，PSPEM利用提示编码器和编码转换器来精炼提示中的关键信息，并使用提示对齐技术来引导模型生成，确保文本一致性并遵循预期的结构和内容，从而在效率和准确性之间保持最佳平衡。我们通过知识编辑和属性插入验证了PSPEM的有效性。在COUNTERFACT数据集上，PSPEM实现了近100%的编辑准确率，并展现了最高水平的流畅度。我们进一步分析了PSPEM与原始提示之间的相似性及其对模型内部的影响。结果表明，PSPEM可以作为原始提示的替代方案，支持模型进行有效编辑。