ChainBuddy：用于生成 LLM 管道的 AI 代理系统

随着大型语言模型（LLM）的不断进步，其潜在应用范围也随之显著增长。然而，要评估 LLM 在用户定义任务上的行为并构建有效的管道仍然困难许多。许多用户常常不知从何处开始，被称为“空白页问题”。ChainBuddy 是一个集成在 ChainForge 平台上的 AI 工作流生成助手，旨�解决此问题。从单个提示或聊天，ChainBuddy 可生成符合用户要求的评估性 LLM 管道。ChainBuddy 提供一种直观易用的方式，用于规划和评估 LLM 的行为，使过程更加轻松且更易于访问，适用于广泛的可能任务和用例。我们报告了与基线界面进行的 within-subjects 用户研究。我们发现，在使用 AI 辅助时，参与者报告的工作量较轻，更加自信，且产生的管道质量更高。然而，我们也发现主观与客观绩效评估之间存在不匹配：参与者在两种条件下对自身成功率的评估相当，而独立专家则在 AI 辅助下显著评估了参与者的工作流程。将其与达克涅克效应联系起来，我们对未来工作流程生成助手的设计提出了启发。