面向具身世界模型的神经符号图增强

开发能够理解并推理复杂现实场景的人工智能系统是一项重大挑战。在这项工作中，我们提出了一种新颖的方法，以增强并利用 LLM 的反应能力来解决复杂问题并解释具有深层上下文的现实世界含义。我们引入了一种方法和工具，用于创建多模态、知识增强的形式化语义表示，该方法结合了大型语言模型与结构化语义表示的优势。我们的方法以图像作为输入，利用最先进的大型语言模型生成自然语言描述。然后将该描述转换为抽象语义表示图，并通过逻辑设计模式以及源自语言学和事实知识库的分层语义对其进行形式化与丰富。随后，将生成的图反馈到 LLM 中，通过复杂启发式学习激活的隐式知识进行扩展，包括语义隐含、道德价值、具身认知和隐喻表示。通过弥合非结构化语言模型与形式化语义结构之间的鸿沟，我们的方法为解决自然语言理解与推理中的复杂问题开辟了新途径。