面向大语言模型即席任务适配的交互式与可视化提示工程
计算与语言
2022-08-17 v1 人机交互
机器学习
摘要
最先进的神经语言模型如今可通过零样本提示来解决即席语言任务，无需监督训练。该方法近年来广受欢迎，研究者已展示出在特定 NLP 任务上取得高准确率的提示。然而，为新任务寻找提示需要实验摸索。不同措辞的提示模板会导致显著的准确率差异。PromptIDE 允许用户实验提示变体、可视化提示性能并迭代优化提示。我们开发了一种工作流，使用户能够先利用小数据聚焦模型反馈，再进入大数据阶段，借助任务的定量度量对有望的提示进行实证检验。该工具随后可轻松部署新创建的即席模型。我们通过若干真实用例展示了 PromptIDE（demo 见 http://prompt.vizhub.ai）及我们工作流的实用性。
引用
@article{arxiv.2208.07852,
title = {Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation with Large Language Models},
author = {Hendrik Strobelt and Albert Webson and Victor Sanh and Benjamin Hoover and Johanna Beyer and Hanspeter Pfister and Alexander M. Rush},
journal= {arXiv preprint arXiv:2208.07852},
year = {2022}
}
备注
9 pages content, 2 pages references