面向图像到图像推理任务的端到端神经-符号架构
人工智能
2021-06-08 v1 计算机视觉与模式识别
机器学习
摘要
神经模型与符号算法近来被结合用于需要感知与推理的任务。神经模型将感知输入接地到概念词表上，再在其上应用经典推理算法生成输出。一个关键局限是此类神经到符号模型仅能在输出空间为符号的任务上端到端训练。本文研究用于推理任务的神经-符号-神经模型，这类任务需要将图像输入（如部分填充的数独）转换为图像输出（如完成的数独图像）。尽管设计这样一种三步混合架构可能直截了当，关键技术挑战在于端到端训练——如何在不经中间监督的情况下通过符号组件反向传播。我们提出 NSNnet，一种结合图像重建损失与新颖输出编码器以生成监督信号的架构，开发了利用策略梯度方法进行监督的更新算法，并使用新颖子采样启发式优化损失。我们在符号算法易于指定的问题设定上实验：视觉迷宫求解任务与监督为图像形式的视觉数独求解器。实验显示，与纯神经方法相比，仅需显著更少数据即可达到高准确率。
引用
@article{arxiv.2106.03121,
title = {End-to-End Neuro-Symbolic Architecture for Image-to-Image Reasoning Tasks},
author = {Ananye Agarwal and Pradeep Shenoy and Mausam},
journal= {arXiv preprint arXiv:2106.03121},
year = {2021}
}