提示注入：固定输入的参数化
机器学习
2022-07-18 v2 人工智能
计算与语言
摘要
近期工作表明，将提示附着于输入对于调节语言模型（LM）执行特定任务是有效的。然而，提示在推理期间始终包含于输入文本中，从而带来可观的计算与内存开销。此外，目前没有直截了当的方法能在不于推理期间产生额外成本的前提下，利用长于LM最大输入长度的提示。我们提出提示注入（PI），一种将提示注入LM参数中的新颖表述，作为将固定提示附着于输入的高效替代方案。我们展示在具有长固定提示的场景中，就总FLOPs而言PI可比先前方法高效至多280倍。我们进一步探索PI的方法论，并在依赖于人物角色的对话、语义解析以及带任务指令的零样本学习中展示有前景的结果。通过这些探索，我们表明PI可成为调节语言模型的一个有前景方向，尤其在具有长且固定提示的场景中。
引用
@article{arxiv.2206.11349,
title = {Prompt Injection: Parameterization of Fixed Inputs},
author = {Eunbi Choi and Yongrae Jo and Joel Jang and Minjoon Seo},
journal= {arXiv preprint arXiv:2206.11349},
year = {2022}
}
备注
PING results in Table 2 updated (bug fixed)