面向开放世界的视觉推理：零样符号的神经符号程序
机器学习
2024-07-19 v1
摘要
我们考虑在图像中寻找多个物体的空间配置的问题，例如，移动式检验机器人需要定位地面上被遗弃的工具。我们通过关系和属性以一阶逻辑形式定义物体的空间配置。神经符号程序通过查询由语言-视觉模型提供的概率性物体提案，来匹配给定图像的逻辑公式中的符号。本工作是首次将神经符号编程（推理）与语言-视觉模型（学习）结合，以在开放世界环境中寻找图像中物体的空间配置。我们通过寻找地面上被遗弃的工具和漏水管子来验证方法的有效性。我们发现，大多数预测错误源于语言-视觉模型中的偏置。
引用
@article{arxiv.2407.13382,
title = {Open-World Visual Reasoning by a Neuro-Symbolic Program of Zero-Shot Symbols},
author = {Gertjan Burghouts and Fieke Hillerström and Erwin Walraven and Michael van Bekkum and Frank Ruis and Joris Sijs and Jelle van Mil and Judith Dijk},
journal= {arXiv preprint arXiv:2407.13382},
year = {2024}
}
备注
12 pages