MRKL 系统：一种结合大语言模型、外部知识源与离散推理的模块化神经-符号架构
计算与语言
2022-05-03 v1 人工智能
摘要
巨大的语言模型（LMs）为 AI 带来了新时代，成为基于自然语言的知识任务的入口。尽管 LM 是现代 AI 的基本要素，它们也在许多方面存在固有局限。我们讨论这些局限，以及如何通过采用系统方法来避免它们。将这一挑战概念化为除语言处理外还涉及知识与推理的问题，我们定义了一种灵活的架构，包含多个神经模型，并辅以离散知识与推理模块。我们描述了这一被称为模块化推理、知识与语言（MRKL，发音为“miracle”）系统的神经-符号架构、实现它的一些技术挑战，以及 AI21 Labs 的 MRKL 系统实现 Jurassic-X。
引用
@article{arxiv.2205.00445,
title = {MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning},
author = {Ehud Karpas and Omri Abend and Yonatan Belinkov and Barak Lenz and Opher Lieber and Nir Ratner and Yoav Shoham and Hofit Bata and Yoav Levine and Kevin Leyton-Brown and Dor Muhlgay and Noam Rozen and Erez Schwartz and Gal Shachaf and Shai Shalev-Shwartz and Amnon Shashua and Moshe Tenenholtz},
journal= {arXiv preprint arXiv:2205.00445},
year = {2022}
}