基于大语言模型的实时异常检测与反应式规划

基于互联网规模数据训练的基础模型（如大语言模型 LLM）具有零样例泛化能力，使其成为检测和缓解机器人系统外分布失效模式的有前景的技术。但充分实现这一承诺面临两个挑战：（i）减轻这些模型的计算开销，以便其可在线应用；（ii）将其关于潜在异常的判断纳入安全控制框架。在本工作中，我们提出了两个阶段的推理框架：第一个阶段是一个快速的二元异常分类器，分析观测值在 LLM 嵌入空间中的情况，可触发第二个较慢的后备选择阶段，后者利用生成式 LLM 的推理能力。这些阶段对应于模型预测控制策略中的分支点，该策略维持沿各种后备计划的联合可行性，以便在异常检测后尽快考虑慢速推理器的延迟，从而确保安全。我们表明，快速异常分类器的性能优于基于最先进 GPT 模型的自回归推理，即使使用相对较小的语言模型也能实现。这是使我们的运行时监视器在资源和时间受限的情况下提高动态机器人系统（如四旋翼机或自动驾驶车辆）可信度的关键。演示了我们的方案在仿真和实际实验中的应用，视频可在本项目页面 https://sites.google.com/view/aesop-llm 查看。