ConstitutionMaker：通过将反馈转化为原则来交互式批评大语言模型
人机交互
2023-10-25 v1 人工智能
摘要
大语言模型（LLM）提示是一种有前景的新方法，供用户创建和定制自己的聊天机器人。然而，当前引导聊天机器人输出的方法，如提示工程和微调，不支持用户将他们对模型输出的自然反馈转化为提示或模型的更改。在这项工作中，我们探索如何通过帮助用户将其反馈转化为一组规定模型行为的原则（即宪法）来实现用户通过其反馈交互式地精炼模型输出。从一项形成性研究中，我们（1）发现用户需要支持将其反馈转化为聊天机器人的原则，以及（2）对用户所需的不同原则类型进行了分类。受这些发现的启发，我们开发了 ConstitutionMaker，一种用于将用户反馈转化为原则以引导基于 LLM 的聊天机器人的交互式工具。借助 ConstitutionMaker，用户可以用自然语言提供正面或负面反馈、选择自动生成的反馈，或重写聊天机器人的回复；每种反馈模式都会自动生成一条原则并插入到聊天机器人的提示中。在一项有 14 名参与者的用户研究中，我们将 ConstitutionMaker 与一个精简版本进行比较，在精简版本中用户自行编写原则。使用 ConstitutionMaker，参与者感觉他们的原则能更好地引导聊天机器人，能更轻松地将反馈转化为原则，且能以更少的心理需求更高效地编写原则。ConstitutionMaker 帮助用户识别改进聊天机器人的方法，将他们对模型的直觉响应表述为反馈，并将此反馈转化为具体而清晰的原则。总之，这些发现可为未来支持 LLM 输出交互式批评的工具提供借鉴。
引用
@article{arxiv.2310.15428,
title = {ConstitutionMaker: Interactively Critiquing Large Language Models by Converting Feedback into Principles},
author = {Savvas Petridis and Ben Wedin and James Wexler and Aaron Donsbach and Mahima Pushkarna and Nitesh Goyal and Carrie J. Cai and Michael Terry},
journal= {arXiv preprint arXiv:2310.15428},
year = {2023}
}