NeSyCoCo：用于组合泛化的神经符号概念构成器
计算与语言
2024-12-23 v1
摘要
组合泛化是人工智能代理解决复杂视觉语言推理任务的关键。神经符号方法在捕获组合结构方面显示出前景，但面临关键挑战：(a)依赖于用于符号表示的预定义谓词，限制了适应性；(b)难以从原始数据中提取谓词；(c)用于组合原始概念的非可微操作。为解决这些问题，我们提出了 NeSyCoCo，一种神经符号框架，利用大型语言模型（LLM）生成符号表示并将其映射到可微的神经计算。NeSyCoCo 引入了三项创新：(a)通过增强自然语言输入的依存结构来提高与符号表示的对齐方式；(b)采用分布式词语表示，将多样化且以语言为导向的逻辑谓词与神经模块相链接；(c)使用归一化谓词得分的软组合，以对齐符号与可微推理。我们的框架在 ReaSCAN 和 CLEVR-CoGenT 组合泛化基准测试上实现了最先进的结果，并在 CLEVR-SYN 基准测试中表现出对新概念的稳健性能。
引用
@article{arxiv.2412.15588,
title = {NeSyCoCo: A Neuro-Symbolic Concept Composer for Compositional Generalization},
author = {Danial Kamali and Elham J. Barezi and Parisa Kordjamshidi},
journal= {arXiv preprint arXiv:2412.15588},
year = {2024}
}
备注
AAAI 2025 Project Page: https://iamdanialkamali.github.io/publication/neuro-symbolic-concept-composer