NeMo Guardrails：一个用于构建具有可编程护栏的可控且安全 LLM 应用的工具包
计算与语言
2023-10-17 v1 人工智能
摘要
NeMo Guardrails 是一个开源工具包，用于轻松地为基于 LLM 的对话系统添加可编程护栏。护栏（简称 rails）是一种控制 LLM 输出的特定方式，例如不谈论被认为有害的话题、遵循预定义的对话路径、使用特定的语言风格等。有多种机制允许 LLM 提供商和开发人员在训练时将护栏嵌入到特定模型中，例如使用模型对齐。不同的是，NeMo Guardrails 采用受对话管理启发的运行时，允许开发人员向 LLM 应用添加可编程护栏——这些护栏由用户定义、独立于底层 LLM，并且可解释。我们的初步结果表明，所提出的方法可用于多个 LLM 提供商，以使用可编程护栏开发可控且安全的 LLM 应用。
引用
@article{arxiv.2310.10501,
title = {NeMo Guardrails: A Toolkit for Controllable and Safe LLM Applications with Programmable Rails},
author = {Traian Rebedea and Razvan Dinu and Makesh Sreedhar and Christopher Parisien and Jonathan Cohen},
journal= {arXiv preprint arXiv:2310.10501},
year = {2023}
}
备注
Accepted at EMNLP 2023 - Demo track