RvLLM：基于域知识的大语言模型运行时验证

大语言模型（LLM）因其卓越的文本理解与生成能力而成为主导性的人工智能范式。然而，其倾向于生成不一致或错误输出，挑战了其在需要准确性和可信度的高风险领域的可靠性。现有研究主要聚焦于检测和缓解通用场景中的模型异常行为，往往忽视整合域特定知识的潜力。本文通过引入域知识来推进异常行为检测。核心思想是设计一种通用规范语言，使域专家能够以轻量且直观的方式自定义域特定谓词，以支持对LLM输出进行运行时验证。为实现此目标，我们设计了一种新颖的规范语言（ESL），并引入运行时验证框架RvLLM，以ESL中定义的域特定约束验证LLM输出。我们在三个典代表征任务上评估了RvLLM：针对新加坡快速交通系统法案的违规检测、数值比较和不等式求解。实验结果表明，RvLLM在轻量且灵活的方式下有效检测了各种LLM中的错误输出。结果揭示了尽管具备惊人能力，LLM因可解释性有限且推理期间缺乏形式保证，仍易产生低级错误；而我们的框架通过利用专家域知识，对LLM输出进行严谨且高效的验证，提供了一种潜在的长期解决方案。