NePTune：一个面向视觉语言可调组合推理的神经-Pythonic框架
人工智能
2025-10-01 v1 计算与语言
计算机视觉与模式识别
符号计算
摘要
现代视觉语言模型（VLMs）在各种任务中取得了令人印象深刻的性能，但它们常常在组合推理方面遇到困难，即分解和重组概念以解决新问题的能力。虽然神经符号方法提供了一个有前景的方向，但它们通常受到清晰的逻辑执行或预定义谓词的限制，这限制了灵活性。在这项工作中，我们引入了NePTune，一个神经符号框架，它通过一种混合执行模型克服了这些限制，该模型将基础视觉模型的感知能力与符号推理的组合表达能力相结合。NePTune动态地将自然语言查询转换为可执行的Python程序，这些程序融合了命令式控制流和能够对VLM生成的不确定性进行推理的软逻辑算子。NePTune以无需训练的方式运行，采用模块化设计，将感知与推理解耦，但其可微操作支持微调。我们在多个视觉推理基准测试和不同领域上评估了NePTune，并利用对抗性测试，证明了其相对于强大基模型的显著改进，以及其在新环境中有效的组合泛化和适应能力。
引用
@article{arxiv.2509.25757,
title = {NePTune: A Neuro-Pythonic Framework for Tunable Compositional Reasoning on Vision-Language},
author = {Danial Kamali and Parisa Kordjamshidi},
journal= {arXiv preprint arXiv:2509.25757},
year = {2025}
}