面向大语言模型零样本语言风格定制的可扩展提示
计算与语言
2023-12-04 v2
摘要
我们提出可扩展提示（X-Prompt），用于以超越自然语言（NL）的方式提示大语言模型（LLM）。X-Prompt 不仅以自然语言提示 LLM，还使用可扩展的虚构词词汇表。注册新的虚构词使我们能够指示 LLM 理解难以用自然语言词描述的概念，从而使提示更具描述性。此外，这些虚构词被设计为分布外（OOD）鲁棒的，以便它们可以像自然语言词一样在各种提示中（重新）使用，这将 X-Prompt 与用于拟合分布内数据的软提示区分开来。我们提出上下文增强学习（CAL）来学习具有通用可用性的虚构词，使其能在 OOD（未见过）提示中正常工作。我们以零样本语言风格定制为案例研究对 X-Prompt 进行实验。X-Prompt 的前景结果展示了其在促进超越自然语言接口的高级交互、弥合人类与 LLM 之间沟通鸿沟方面的潜力。
引用
@article{arxiv.2212.00616,
title = {Extensible Prompts for Language Models on Zero-shot Language Style Customization},
author = {Tao Ge and Jing Hu and Li Dong and Shaoguang Mao and Yan Xia and Xun Wang and Si-Qing Chen and Furu Wei},
journal= {arXiv preprint arXiv:2212.00616},
year = {2023}
}
备注
Accepted by NeurIPS 2023