SafePlan：利用形式逻辑与思维链推理增强基于LLM的机器人任务规划安全性
机器人学
2025-03-11 v1
摘要
机器人研究人员越来越多地在机器人系统中利用大语言模型（LLM），将其作为接收任务命令、生成任务计划、形成团队联盟以及在多机器人和人类智能体之间分配任务的接口。然而，尽管有其益处，LLM在机器人领域日益广泛的应用引发了若干安全问题，特别是关于执行恶意或不安全自然语言提示的问题。此外，确保对LLM输出的任务计划、团队组建和任务分配进行充分的检查、细化或拒绝，对于维护系统完整性至关重要。在本文中，我们介绍了SafePlan，这是一个多组件框架，结合了形式逻辑和思维链推理器，用于增强基于LLM的机器人系统的安全性。使用SafePlan的组件，包括提示合理性COT推理器和不变量、前置条件及后置条件COT推理器，我们检查了基于LLM的机器人系统生成的自然语言任务提示、任务计划和任务分配输出的安全性，以此作为调查和增强系统安全配置的手段。我们的结果表明，SafePlan优于基线模型，使有害任务提示接受率降低了90.5%，同时仍保持对安全任务的合理接受率。
引用
@article{arxiv.2503.06892,
title = {SafePlan: Leveraging Formal Logic and Chain-of-Thought Reasoning for Enhanced Safety in LLM-based Robotic Task Planning},
author = {Ike Obi and Vishnunandan L. N. Venkatesh and Weizheng Wang and Ruiqi Wang and Dayoon Suh and Temitope I. Amosa and Wonse Jo and Byung-Cheol Min},
journal= {arXiv preprint arXiv:2503.06892},
year = {2025}
}