对话回归测试：一种用于原型化预训练语言模型可泛化提示策略的设计技术
人机交互
2023-02-08 v1
摘要
GPT-3 等预训练语言模型（LLMs）可开箱即用地进行流畅的多轮对话，使其成为聊天机器人设计的有吸引力的材料。此外，设计者可通过在其输入前添加文本提示（期望交互的指令与示例）来改善 LLM 聊天机器人的话语。然而，基于提示的改进可能脆弱；设计者面临系统性理解提示策略如何影响跨用户后续对话展开的挑战。为应对该挑战，我们引入对话回归测试的概念。基于与基线聊天机器人的样本对话，对话回归测试追踪对话错误如何通过应用不同提示策略而持续或解决。我们在交互式设计工具 BotDesigner 中体现了该技术，使设计者能识别跨多轮对话的原型错误；使用图可视化展示对话的共同线索；并高亮提示变更在机器人设计迭代中的效果。一项试点评估展示了回归测试概念与 BotDesigner 功能对聊天机器人设计者的有用性。
引用
@article{arxiv.2302.03154,
title = {Conversation Regression Testing: A Design Technique for Prototyping Generalizable Prompt Strategies for Pre-trained Language Models},
author = {J. D. Zamfirescu-Pereira and Bjoern Hartmann and Qian Yang},
journal= {arXiv preprint arXiv:2302.03154},
year = {2023}
}
备注
9 pages, 7 figures